Construit en 1780, le grand salon de marbre est une pièce d’exception puisque s’y voient appliqués les principes des décors des palais princiers. Dessiné par l’architecte Jean-Sébastien Leysner, sa référence semble être les salons de la Guerre et de la Paix à Versailles réalisés un siècle plus tôt et dont les dimensions sont identiques.
Le plafond est surmonté par une coupole savamment décorée et destinée à capter la chaleur du grand lustre. La totalité du mobilier commandé à Paris à l’ébéniste Pluvinet en 1779 est encore en place dans ce salon. A la même époque, une salle à manger est installée au rez-de-chaussée alors que les chambres qui y étaient aménagées prennent désormais place au premier étage.

La marquise de Marmier, fille aînée du marquis de la Lorie, réside ensuite dans cette demeure jusqu’à sa mort en 1842 avant que sa petite fille, la duchesse de Fitz-James, ne s’y installe. Le fils de cette dernière, le duc de Fitz-James, mène grand train à la Lorie que la presse qualifie de « château quasi-royal ». Ruiné par le jeu, le duc vend la Lorie en l’état en 1886 au marquis de Saint Genys dont la descendante en est toujours propriétaire.

Sans cesse embellie et agrandie au fil des siècles, le château l’est encore au début du XX e siècle. Conçue par le marquis de Saint Genys en 1904 pour y recevoir des objets anciens et des œuvres d’art, la grande galerie est édifiée à la place de la salle à manger du XVIII e . La même année, une remarquable pièce en rotonde, œuvre de l’architecte parisien Camut, est édifiée pour accueillir la salle à manger. Le marquis de Saint Genys y place des boiseries, sculptées dans le style du grand art parisien des années 1730, qu’il avait achetées lors de la démolition du château de Vitry-sur-Seine.