Baltimore, 1954. Fils de Nate et Ada Kurtzman, le jeune Ben et son frère aîné Van ont passé leur enfance dans le quartier juif de la ville, à l’écart de ceux que, dans leur milieu, on appelle « les Autres ». Toutefois, avec l’adolescence, leur champ de vision s’élargit. En sortant de son environnement protégé, Ben fait l’expérience de la ségrégation. Ainsi, un panneau à l’entrée de la piscine locale interdit l’établissement « aux Juifs, aux Noirs et aux chiens ». Au cours d’une soirée d’Halloween organisée par la jeunesse dorée des beaux quartiers, Van et ses amis se heurtent au même ostracisme. Alors que Van tombe sous le charme de Dubbie, une aristocratique blonde, son copain Yussel provoque une bagarre en refusant d’avouer qu’il est juif. Le pugilat est interrompu par l’irruption d’une voiture conduite par Trey, un invité en état d’ébriété.
Quelques jours plus tard, Van refuse de témoigner contre Trey. Reconnaissant, ce dernier propose de lui rendre un service équivalent. Van lui confie alors qu’il aimerait bien revoir la belle blonde dont il est tombé amoureux. Trey devine que la mystérieuse inconnue est en fait sa fiancée Dubbie. Pour ne pas chagriner Van, il l’invite à une soirée à laquelle Dubbie n’est pas censée assister, espérant qu’il trouvera, parmi les invitées, chaussure à son pied. Or, Dubbie est présente, et Trey doit avouer à Van la vérité.
De son côté, Ben affronte lui aussi ses premières déceptions amoureuses. Il se prend d’affection pour Sylvia, une camarade de classe issue de la bourgeoisie noire aisée. Ils se voient en secret, sachant que leurs familles respectives n’approuveraient pas leur idylle. Le père de Sylvia est en effet médecin, alors que Nate possède un club de strip-tease et gère des paris plus ou moins légaux. Un petit trafiquant, Little Melvin, gagne un jour une somme importante à une de ses loteries clandestines et, mécontent de l’arrangement financier que Nate lui propose, il finit par enlever Ben et Sylvia, lesquels, à l’insu de leurs parents, étaient allés assister à un concert de James Brown. La prise d’otages, heureusement, ne dure que quelques heures et se termine bien.
Van, pour sa part, a accepté d’accompagner Dubbie en Floride, où Trey est hospitalisé à la suite d’un accident de voiture. Sachant qu’il restera probablement paralysé, le jeune homme rend à Dubbie sa liberté et conseille à Van de tenter sa chance auprès d’elle. Sur le chemin du retour, les deux jeunes gens s’arrêtent dans un motel mais Dubbie, qui a trop bu, se met à vomir, stoppant net les élans romantiques de Van. La fin de l’année scolaire arrive ; les fils Kurtzman reçoivent leur diplôme, mais leur joie est assombrie par l’arrestation de leur père, condamné à plusieurs années de prison pour ses activités illégales.