Fils de Charles II d’Anjou, roi de Sicile et de Jérusalem, comte de Provence, d’Anjou et du Maine, et de Marie de Hongrie, sœur et héritière de Ladislas IV de Hongrie, roi de Hongrie.
Il épousa le 11 janvier 1281 à Vienne Clémence de Habsbourg fille de Rodolphe 1er de Habsbourg empereur germanique et de Gertrude de Hohenberg
Il fit ses premières armes en 1289 avec son père et Robert II d’Artois dans une expédition en Sicile contre Frédéric II de Sicile.
Son oncle Ladislas IV de Hongrie mourut peu après sans fils pour lui succéder, et son père Charles d’Anjou l’arma chevalier et le couronna roi de Hongrie. Mais les nobles hongrois avaient élu comme successeur de Ladislas un de ses cousins, André III Arpad. Charles Martel se contenta du titre royal et ne chercha pas à se rendre en Hongrie pour en faire la conquête. Son fils Charobert lui succéda.