Jeune directeur comblé et snob, Louis Winthorpe III est chargé des investissements chez Duke and Duke, une puissante société financière de Philadelphie. Billy Ray Valentine est un Noir débrouillard sans le sou qui se fait passer pour un vétéran du Viêt-nam devenu infirme. Tous deux vont faire l'objet d'un pari - de un dollar! - passé entre les patrons de Louis : si Mortimer Duke prétend que le génie des affaires de Louis est inné, son frère Randolph entend lui démontrer que la réussite sociale de leur employé est due à un environnement, à un milieu favorables. Pour cela, les frères Duke vont échanger les places de Louis et Billy Ray. Celui-ci, ébahi, se retrouve ainsi luxueusement vêtu, nourri et même servi par Coleman, le serviteur très stylé de Louis. Inversement, par l'intermédiaire d'un détective corrompu, Beeks, les Duke précipitent la déchéance publique de Louis, qui se voit accusé d'être un voleur et un trafiquant de drogue, est emprisonné, licencié, exclu de son club et quitté par sa fiancée, Penelope !

Secouru par Ophelia, une jeune prostituée au grand coeur mais intéressée, Louis veut se venger de Billy Ray, mais ne réussit qu'à déchoir un peu plus. Sauvé du suicide par celui qui a pris sa place, il apprend de sa bouche le pari des Duke. Avec l'aide d'Ophelia et de Coleman, les deux compères décident de manipuler à leur tour les cupides milliardaires: dérobant à Beeks un rapport secret sur la production d'oranges grâce auquel les Duke voulaient boursicoter, ils le remplacent par un faux et spéculent sur le cours du jus d'orange. Les Duke finiront ruinés, Beeks dans la cage d'un gorille, et nos quatre larrons dans une île paradisiaque...