Fils de Michel Le Tellier secrétaire d’Etat à la guerre depuis 1643 auprès de Mazarin, marquis de Barbezieux, et d’Élisabeth Turpin. Il épouse Anne de Souvré, marquise de Courtanvaux et de Messei, descendante de Gilles de Souvré. Son père lui obtient de Louis XIV la transmission de sa charge de secrétaire d’État de la Guerre, alors qu’il n’a même pas 15 ans, le 14 décembre 1655. Il n’en fut le plein détenteur qu’en 1677 mais, dès le 24 février 1662, il est autorisé à exercer la charge en l’absence de son père et assiste celui-ci dans l’administration de la Guerre, et on estime que vers 1670 il y joue le premier rôle. Nommé ministre d’Etat en 1672 et entre au Conseil d’En-Haut. Il intrigue contre Jean-Baptiste Colbert pendant l’« Affaire des poisons » et, à la mort de ce dernier, obtient sa place de Surintendant des bâtiments, arts et manufactures en 1683 ce qui lui permet de prendre en main la construction du château de Versailles.
C’est à lui, conseillé par son père, que Louis XIV doit une armée forte de plus ou moins 300 000 hommes, disciplinés et bien équipés. Elle n’exclut pas cependant que le roi ait recours parfois à des mercenaires étrangers comme les Suisses. En 1685, Louvois renforce l’armée pour laquelle les capitaines créent leur compagnie grâce à des recruteurs qui ne se privent pas d’utiliser tous les moyens pour obtenir que les hommes s’engagent, par la création d’une milice dont le recrutement se fait par tirage au sort dans les paroisses. Il crée des inspecteurs généraux et des commissaires de guerre auxquels il revient de surveiller les officiers dont la formation est désormais assurée par des écoles comme les compagnies de Cadets. La mise en place de l’Ordre du tableau, en 1675, permet l’avancement à l’ancienneté d’officiers qui n’ont pas acheté leur grade. Ainsi un homme qui n’est pas noble peut-il devenir lieutenant colonel. Louvois assure aux soldats le paiement des soldes, l’intendance, grâce à la création de magasins et d’un service de ravitaillement par chariots qui suit l’armée en campagne. Il arme ses fantassins de mousquets, de pics et de fusils à pierre. Il crée un corps de fantassins armés de grenades, les grenadiers.
Des compagnies de canonniers et de bombardiers sont créées. Il est à l’origine de la fondation de l’hôtel des Invalides. Louvois acquiert le château de Meudon en 1679 suite au décès d’Abel Servien. Ce dernier meurt ruiné, contraignant son fils à vendre le domaine de Meudon. Pour le puissant ministre la situation de Meudon est idéale, à proximité de Versailles et de Chaville où se trouve la propriété familiale. Il se lance dans une série d’aménagements grandioses : embellissement du château, aménagement d’un système hydraulique dans la forêt de Meudon, création d’un très grand potager qui s’appellera par la suite le potager du Dauphin.
Rival de Colbert, il est en 1683 surintendant des Bâtiments, Arts et Manufactures. De 1683 à 1685, il achète le château d’Ancy-le-Franc, puis le comté de Tonnerre, à François-Joseph de Clermont.
Autoritaire, brutal, il conseille à Louis XIV la pratique des dragonnades comme le bombardement de Gênes en 1684 ou le saccage du Palatinat en 1689. Le 14 février 1688, il achète à une descendante de la famille d’Orange-Nassau le château de Montfort en Bourgogne pour 62 000 livres.
Hiérarchie et discipline furent les soucis constants de Louvois. Il ne put abolir la vénalité des grades de colonel et de capitaine. Les régiments restaient propriétés de leurs officiers. Mais Louvois réprima les abus, sévissant contre l’absentéisme des officiers. Il réprima aussi le pillage, lequel était généralement excusé par l’arriéré de solde et le retard du ravitaillement. Il meurt en charge le 16 juillet 1691. En 1695, sa veuve cède au Grand Dauphin la terre et le château de Meudon.