A Harlem en 1918, le jeune Quick sauve la vie d'un tenancier de tripot, Sugar Ray. Vingt ans plus tard, le tripot est devenu une élégante boîte de nuit que les deux hommes gèrent en compagnie du vieux croupier Bennie Wilson et de l'imposante Vera, qui recrute les entraîneuses. Cette réussite attire la convoitise d'un rival. Bugsy Calhoune. Lorsque Sugar Ray refuse de lui céder son établissement, il tente de l'intimider par l'intermédiaire d'un policier marron, Phil Cantone. Il fait aussi assassiner un autre propriétaire de cabaret, Tommy Smails, en laissant croire que le coupable est Quick. Celui-ci devra se débarrasser du frère de la victime et de ses hommes de main, lancés à sa poursuite. Il lui faudra aussi prendre de vitesse la maîtresse de Calhoune, la belle créole Dominique LaRue, qui était chargée de l'exécuter. Sugar Ray et Quick comprennent que, tôt ou tard, ils seront obligés de quitter Harlem, mais ils veulent le faire les poches pleines. En laissant croire que le match de boxe auquel participe leur ami Jack Jenkins contre Michael Kirkpatrick est truqué, ils orientent les mises des parieurs. Ensuite, ils font séduire le transporteur de fonds, Richie Vento, par une des entraîneuses de Vera, Sunshine. Une mise en scène élaborée leur permet à la fois de s'emparer de l'argent des paris clandestins, de neutraliser Phil Canione et d'attirer Calhoune et sa bande dans l'appartement piégé de Sugar Ray. C'est donc l'âme en paix et fortune faite qu'ils pourront aller exercer leurs talents dans une autre ville.