Brooklyn, 1935. Émigrés irlandais, Malachy (dit « Dad ») et Angela McCourt vivent dans la misère avec leurs cinq enfants : Frank, Malachy Jr, deux jumeaux en bas-âge et la petite dernière, à peine née. La mort prématurée de celle-ci plonge Angela dans la dépression et provoque le retour en Irlande de la famille.

À Limerick, Angela retrouve sa mère (Grand-mère Sheehan), son frère demeuré (Oncle Pat) et sa soeur, la revêche Aggie. Mais sur les bords humides et malsains de la rivière Shannon, la misère est encore plus grande qu’à New York. Les McCourt vivent de la charité parcimonieuse de la Société Saint-Vincent-de-Paul. Le premier logis qu’on leur attribue est infesté de puces. Le second est inondé les trois-quarts de l’année et empesté par les odeurs des latrines communes. Quand par miracle Dad trouve un emploi, il boit sa paie sur le chemin du retour. Sous-alimentés, les jumeaux disparaissent à quelques semaines l’un de l’autre. Après la naissance successive de deux autres garçons, les McCourt sont de nouveau six au foyer. En dépit des maîtres sévères et des prêtres obscurantistes, l’existence de Frank est parfois égayée d’épisodes cocasses ou de moments de bonheur : les légendes que lui raconte son père quand il n’est pas trop saoul, les cours de danse irlandaise, quelques rares séances de cinéma, une catastrophique première communion, l’espionnage des petites voisines quand elles prennent leur bain, les virées dans la verte campagne et le chapardage des pommes…

Mais le malheur frappe sans répit. Atteint de typhoïde, Frank passe de longs mois à l’hôpital, où il découvre les oeuvres de Shakespeare. Dad part travailler en Angleterre dans une usine d’armement, mais oublie d’envoyer sa paie à Angela, qui est forcée de recourir à la mendicité. Frank trouve un emploi de livreur de charbon, puis doit y renoncer à cause d’une grave conjonctivite. Expulsés de chez eux, les McCourt sont recueillis par un cousin, Laman Griffin, lequel exige les faveurs d’Angela et traite ses enfants comme des esclaves. Après une altercation, Frank part s’installer chez Oncle Pat et décroche un emploi de télégraphiste. Il vit sa première histoire d’amour avec Theresa Carmody, bientôt emportée par la tuberculose. L’usurière Mrs. Finucane le paie pour rédiger de menaçantes lettres de relance à ses débiteurs. Frank économise pour s’acheter un billet de bateau pour New York. Un jour, il trouve Mrs. Finucane morte. Après avoir jeté dans la rivière le livre des créances, il prélève dans le porte-monnaie de la défunte l’argent qui lui permettra de retourner, plus tôt que prévu, en Amérique.