Fils de Quintus Pompeius Rufus , consul en 88 av. jc avec Sylla.
En 91 av. jc il épouse Cornelia Sylla , fille de Sylla, chef des optimates [1], dont il a deux enfants. Pompéia sera en 68 av. jc, l’épouse en seconde ou troisième noce de Jules César.
En 88 av. jc, les partisans de Marius et ceux des consuls Sylla et Pompeius Rufus s’affrontent en plein forum.
Le jeune Rufus est égorgé par les partisans de Publius Sulpicius Rufus qui soutiennent la prétention de Marius à mener la guerre contre Mithridate VI, mission que le Sénat a confiée à Sylla.