Né à Paris, fils d’un joaillier, il fut placé par son père à l’école de Le Brun, dont il devint l’un des disciples les plus connus et dont le classicisme l’influença. Les progrès rapides du jeune La Fosse furent tels que Le Brun, en grand observateur présagea dans quelle partie de la peinture il devait paraître avec plus de succès et lui fit obtenir une pension de Louis XIV pour aller en Italie en 1662, où il étudia les maîtres dont les ouvrages étaient en rapport avec son talent. Il passa 2 ans à Rome et 3 à Venise, où il se passionna pour les œuvres du Giorgion, du Titien, des Bassans, de Véronèse, du Tintoret, dont il chercha à découvrir les grands principes et les effets qu’ils ont su répandre dans leurs ouvrages. À la vue de leurs œuvres, La Fosse se fit une méthode de couleur et de clair-obscur qu’il mit ensuite en pratique dans toutes ses productions. Ayant appris la peinture à fresque, il revint en France.
Il collabora avec Le Brun au séminaire de Saint-Sulpice et à l’hôtel Lambert et l’emploiera aux Tuileries, puis au grand appartement de Versailles. Il peint de nombreuses toiles religieuses pour les églises, dont la Présentation de la Vierge.
En 1673, l’Académie de peinture le reçut parmi ses membres pour son tableau de l’Enlèvement de Proserpine. En 1699, il devint professeur et recteur de cette Académie. La renommée ayant porté le nom de La Fosse au-delà des frontières, celui-ci visita par deux fois Londres, où il fut appelé, pour décorer son hôtel londonien, par un amateur distingué, Lord Montaigu, ancien ambassadeur en France pour y décorer son palais. Il passa plus de 2 ans en compagnie des décorateurs Jacques Rousseau et Monnoyer, peignant deux plafonds, l’Apothéose d’Isis et l’Assemblée des Dieux.
Charles II en fut si émerveillé qu’il offrit de grands avantages à La Fosse s’il voulait se fixer en Angleterre, mais Le Brun étant mort, Jules Hardouin-Mansart, qui venait d’achever le dôme des Invalides et était devenu le directeur des travaux ordonnés par Louis XIV, rappela La Fosse auprès de lui, le logea dans sa maison, et lui demanda des esquisses pour la décoration des Invalides.
Mansart mourut à son tour, et La Fosse dut partager avec les Boullogne et Jouvenet les peintures de l’hôtel des Invalides, celle du dôme, où il représente Saint Louis déposant sa couronne et son épée entre les maint de Jésus-Christ, assis au milieu d’une gloire et accompagné de la Vierge fut l’ouvrage capital de La Fosse. Dans les quatre pendentifs, il figura les quatre évangélistes avec leurs attributs et entourés d’anges. La Fosse peignit en outre sur toile, au château de Versailles, la voûte du chœur de la chapelle, où il représenta la Résurrection, les plafonds de la salle de Diane, représentant l’Arrivée de Jason à Colchos et Alexandre chassant aux lions, et comme dessus de cheminée, le Sacrifice d’Iphigénie, les plafonds de la salle du trône, représentant Auguste faisant construire le port de Misène, Vespasien dirigeant les travaux du Colisée, Coriolan fléchi par les larmes de Véturie sa mère, Alexandre rendant à Parus ses États, au centre, Apollon environné des Saisons et des figures allégoriques de la France, de la Magnanimité et de la Magnificence.
À la mort de Mansart, il s’était retiré chez le célèbre amateur Crozat, qui voulut le loger toute sa vie dans son hôtel, dans la galerie duquel il peignit un plafond représentant la Naissance de Minerve, ouvrage qu’il termina en 1707.
À la mort de La Fosse chez Crozat, sa veuve continua d’occuper l’appartement de l’attique qu’il habitait. Son neveu était le poète tragique Antoine de La Fosse et son beau-frère le paysagiste Jean Forest.