Selon Tacite, Agrippa descendait d’une famille plus illustre qu’ancienne et ne l’a pas déshonorée par son mode de vie, bien qu’il ne mentionne aucun détail.
Agrippa était le demi-frère de Drusus Julius Caesar, le fils naturel de l’empereur Tibère. Il était le petit-fils de Gaius Asinius Pollio, le 2ème fils de Caius Asinius Gallus et Vipsania Agrippina, et le père de Marcus Asinius Marcellus, consul en 54.