Fils de Juan Sancho de Tovar , 1er Marquis de Berlanga et de María Girón, Dame de Gandul et Marchenilla. Son nom d’origine était Íñigo de Tovar et Velasco , mais il l’a changé et a repris le nom de famille de son père lorsqu’il a hérité du Duché de Frías* de son oncle Pedro Fernández de Velasco , qui n’avait aucun héritier.
Il épousa Ana Pérez de Guzmán y Aragón, fille de Juan Alfonso Pérez de Guzmán , 6ème Duc de Medina Sidonia [1], avec qui il a eu 11 enfants.