Paris, 1949. Manu est enfermé à la prison de la Santé, dans le quartier des condamnés à mort. Il n’a pourtant tué personne. Mais l’attaque à main armée à laquelle il a participé sous la conduite de son oncle Santos s’est terminée dans un bain de sang : cinq personnes ont été tuées. Joe, le père de Manu, se rend chaque jour au café situé en face de la prison pour obtenir de ses nouvelles. Pourtant, Manu le méprise et ne jure que par sa mère Émilie, sur qui il a reporté toute son affection.
Cachant ses sentiments, Joe préfère laisser croire que sa femme entreprend seule toutes les démarches pour obtenir la libération de Manu. Ainsi, pour payer une avocate – Dorine Tenereaux – chargée de trouver un vice de forme et casser le jugement, il joue d’interminables parties de poker et, une fois l’argent réuni, n’en souffle mot à Manu lors de ses fréquentes visites à la prison.
Apprenant le rejet du pourvoi en cassation, Joe implore les familles des victimes d’écrire une lettre pour obtenir du président Auriol, la grâce de son fils. Aux yeux de tous, c’est la mère de Manu qui en retire tous les avantages. Pourtant, lorsque son fils est incarcéré dans une nouvelle prison, c’est Joe qui s’installe dans la ville.
Libéré onze ans plus tard, Manu, qui, en prison, a tenu son journal, publie « Le Trou », récit de l’une de ses nombreuses tentatives d’évasion. Le livre devient un succès avant d’être adapté au cinéma. Joe se rend à une séance de dédicace mais, une fois encore, reste dans l’ombre.