Fils de Berthold II, duc de Zähringen, et d’Agnès de Rheinfelden. En 1120, il fonda Fribourg-en-Brisgau avec son frère Berthold III. Il succéda à son frère Berthold III en 1122 en tant que duc de Zähringen. Après la mort du comte palatin Guillaume III de Bourgogne, dit l’Enfant, en 1127, il revendique le comté de Bourgogne, qui lui est accordé par l’empereur Lothaire III du Saint Empire en 1128, pour mieux isoler la famille Staufen, ses rivaux dans le sud de l’Allemagne.