Au sud de Vernon, le château de Bizy est une magnifique résidence du 17ème, agrandie par le duc de Belle-Isle qui l'achète en 1721. Petit-fils de Nicolas Fouquet, le duc fait de Bizy un petit Versailles.
A sa mort en 1761, le château revient au roi Louis XV, qui l'échange contre un autre bien au comte d'Eu, fils du duc du Maine, bâtard légitimé du roi Louis XIV et de Mme de Montespan. Célibataire et sans enfants, il le lègue à son cousin Penthièvre, fils du comte de Toulouse, autre bâtard légitimé de Louis XIV et de la Montespan, qui en prend possession en 1775. Il en fera sa résidence principale en 1792, y vivant avec sa fille duchesse d'Orléans, et y mourra en 1793.
Bien national à la révolution, il est racheté en 1817 par la duchesse d'Orléans, et à sa mort, c'est son fils, Louis-Philippe qui en héritera. Il y fait construire deux ailes, restaure, crée un parc à l'anglaise, et plante un catalpa qu'on peut admirer aujourd'hui.
En 1858, les biens des Orléans sont confisqués par Napoléon III. Le château est mis en vente, et acheté par le baron Fernand de Schickler, descendant de financier prussien. Sa soeur, Malvina (1822-1877), a épousé Louis-Napoléon Suchet, 2ème duc d'Albufera et maire de Vernon, le premier étant le maréchal d'empire Louis-Gabriel Suchet (1770-1826).
En 1909, le château revient au petit-neveu de Fernand de Schikler, Louis-Gabriel Suchet, quatrième duc d'Albufera, qui achèvera le château en fermant la cour d'honneur par deux ailes. Il est resté depuis dans la famille, Emmanuel Suchet (1944-), 7ème duc d'Albufera étant le propriétaire actuel.
On doit à Schickler la renconstruction du logis central dans un style neo-classique italianisant.