Harvey Pekar, un documentaliste à la vie terne qui passe ses journée à lire, écrire et écouter du jazz, entrevoit dans la bande dessinée une façon d'exprimer ses frustrations. Lorsque son ami Robert Crumb gagne un prix pour un comic, il décide de se mettre, lui aussi, à en écrire un.
Si son premier album, American Splendor, rencontre le succès, son existence lui paraît toujours aussi vide. Harvey rencontre alors Joyce Brabner, son âme soeur qui partage un même mal de vivre.