By the Sea begleitet den amerikanischen Schriftsteller Roland (Brad Pitt) und seine Frau Vanessa (Angelina Jolie Pitt), die sich ganz offensichtlich in einer Ehekrise befinden, auf ihrem Sommerurlaub in einem ruhigen, pittoresken Badeort an der französischen Riviera der 70er Jahre. Während sie ihre Zeit mit dem frisch verheirateten Pärchen Lea (Melanie Laurent) und François (Melvil Poupaud), dem ansässigen Barbetreiber Michel (Niels Arestrup) und seinem Freund Patrice (Richard Bohringer) verbringen, beginnt das Paar sich mit ungelösten Problemen aus ihrem gemeinsamen Leben zu beschäftigen.