Il avait eu de Françoise Paul Charlotte d’Albert de Luynes Anne-Charlotte, mariée en 1694 à Louis de la Châtre, qui hérita de son frère Emmanuel Henri, mort 2 ans après leur père. Anne-Charlotte mourut en 1725.
Ambassadeur français à Rome lors de la querelle de Louis XIV avec Innocent XI en 1687 à la place du duc d’Estrées, de la mort duquel le pape Innocent XI voulut profiter pour abolir les franchises (exemption d’impôts…) dont jouissaient dans la capitale du monde chrétien, les ambassadeurs. Louis XIV qui avait à se plaindre du pape voulut maintenir ses droits et chargea le marquis de Lavardin de les soutenir. Cette affaire dura bien longtemps et fut conclue sous le pape Alexandre VIII en 1690, où les protagonistes furent quasiment mis dos à dos.
Le marquis de Lavardin mourut à Paris le 23 août 1701 et inhumé dans le caveau de famille dans la cathédrale Saint-Julien.