Né à Chioggia, non loin de Venise. Il fut éduqué chez les franciscains et, plus tard, rejoint cet ordre. En 1536 il était chanteur à l’église de Chioggia dont, en 1539, il devint non seulement le doyen mais aussi l’organiste principal. Ordonné prêtre en 1540, il se rendit à Venise en 1540 pour y étudier auprès du savant contrapuntiste flamand Adriaan Willaert qui était alors maître de chapelle de la Basilique Saint-Marc.
Il fut nommé lui-même à ce poste à la suite de Cyprien de Rore en 1565. C’était une des positions les plus prestigieuses de toute l’Italie pour un musicien, et il conserva cette charge jusqu’à sa mort. Pendant cette dernière période, il eut pour élèves les principaux compositeurs de l’école vénitienne, Claudio Merulo, Girolamo Diruta, Lodovico Zacconi et Giovanni Croce ainsi que Vincenzo Galilei, le père du savant astronome et physicien Galilée, ainsi que le polémiste Giovanni Artusi.
Le nombre de ses compositions musicales est modeste. Ses motets sont de bonne facture et prouvent sa maîtrise du contrepoint. Cependant son nom reste attaché avant tout à ses études théoriques. Il a préconisé la division de l’octave en 12 intervalles et, bien que Pietro Aaron ait probablement été le premier à décrire une forme de tempérament mésotonique, c’est Zarlino qui paraît avoir été le premier à le faire de façon précise, expliquant le détail d’un tempérament aux 2/7 de comma dans son ouvrage de 1558, “Istitutioni harmoniche”. Dans un autre ouvrage de 1571, intitulé “Dimonstrationi harmoniche”, il examine les différents modes et recommande le mode de do, aussi appelé mode majeur ; on se rapproche ainsi du système harmonique et mélodique fondé sur la tonalité, qui va privilégier les modes majeur et mineur au détriment des anciens modes.
Il fut le premier à reconnaître l’importance de la tierce majeure comme intervalle fondateur de l’harmonie. La juste intonation qu’il conceptualise est induite par les imperfections constatées dans la gamme pythagoricienne et le souhait d’avoir le maximum d’intervalles sonnant juste dans un système à 12 intervalles par octave. Il fut également le premier à essayer d’expliquer la règle traditionnelle qui interdisait les quintes et octaves parallèles dans la conduite du contrepoint ainsi que le premier à étudier les effets et conséquences harmoniques des fausses relations.
Les écrits de Zarlino furent diffusés dans toute l’Europe à la fin du 16ème siècle. Les traductions et éditions commentées furent nombreuses en France, en Allemagne, aux Pays-Bas.