Dans le passé, Bernard et Mathilde se sont aimés avec passion, puis séparés violemment. Sept ans plus tard, Mathilde et son mari viennent s'installer dans leur nouvelle maison, voisine de celle où habitent Bernard, sa femme Arlette et leur petit garçon. Tout le monde se retrouve au club de tennis tenu par Madame Jouve, celle par qui cette histoire nous est contée. Mathilde et Bernard n'ont pas assez de sagesse pour devenir amis. Entre elle et lui, ce sera, comme le dit Madame Jouve, "ni avec toi ni sans toi".