Né à Ray, alors que son père al-Mahdî y séjournait. À la mort de son frère al-Hâdî en 786, il devint calife.
Troisième fils de al-Mahdî, son enfance se passe dans le luxe. Il est le fils préféré de leur mère al-Khayzurân, esclave yéménite. Son précepteur est Yahyâ ben Khâlid de la famille des Barmécides*. Hârûn est l’ami d’enfance des fils de Yahyâ ben Khâlid.
Hârûn commande des expéditions contre les Byzantins en 781 et 782. Au cours de l’expédition de 782, l’armée arabe atteint le Bosphore, avant d’être encerclée par les Byzantins. Toutefois, la défection du général byzantin Tatzatès lui permet de reprendre le dessus et de contraindre les Byzantins à accepter une trêve de 3 ans et le paiement d’un lourd tribut annuel.
Il est ensuite nommé gouverneur d’Égypte, de Syrie, d’Arménie et d’Azerbaïdjan. Il charge son ancien précepteur Yahyâ ben Khâlid d’administrer ces provinces. Le frère de Hârûn, al-Hâdî est devant lui dans l’ordre de succession, mais le règne de ce frère ne durera que de 784 à 786.
Le précédent khalife al-Hâdî et frère de Hârûn al-Rachîd avait voulu nommer son fils Ja`far comme héritier. À sa prise de pouvoir Hârûn ar-Rachîd força son neveu Ja`far à faire une déclaration par laquelle il reconnaissait que le pouvoir appartenait à son oncle en 786.
Le jour de son intronisation il eut un premier fils `Abd Allah, de l’esclave perse Marajil ; le khalife interpréta cela comme un bon présage. Quelque temps plus tard il eut un second fils Mohammed Al-Amîn, de son épouse légitime Zubayda. Hârûn voulut reconnaître dans un premier temps `Abd Allah, lui donnant le surnom de Al-Mâ’mûn, comme héritier présomptif, mais il dut affronter la colère de Zubayda et de ses partisans, qui estimaient que Al-Amîn était le plus légitime, étant né de Zubayda. Hârûn ar-Rachîd céda et fit reconnaître comme héritier présomptif son fils Al-Amîn alors qu’il n’avait que cinq ans en 802. Plus tard il décréta un arrangement entre ses deux fils : Al-Amîn était l’héritier présomptif et gouvernait l’ouest de l’empire* (Irak Syrie) et Al-Ma’mûn devenait le second dans l’ordre de succession et dirigeait l’est de l’empire* (Khorasan).
Il se débarrassa des vizirs et des gouverneurs de Al-Hâdî pour les remplacer par des hommes de son choix. Son principal vizir fut Yahyâ ben Khâlid.
En 788 un petit-fils de Hassan ben Ali, Yahyâ s’insurgea dans le Tabaristan*, son frère Idrîs s’était enfui à Walili Meknès*(Maroc) où il parvint à créer un royaume et une dynastie* (Idrissides). Hârûn envoya une armée de 50 000 hommes. Il traita avec le rebelle qui fut accueilli avec les honneurs à Bagdad. Yahyâ s’étonna de cette réception, mais cinq mois après Hârûn le fit mettre en prison et le tortura à mort.
Au Yémen, la population se révolte en 795 contre le gouverneur abbasside. Cette révolte ne cesse qu’en 804.
En Égypte, les impositions écrasantes servent à entretenir l’armée d’Ifriqiya* (actuelle Tunisie) commandée par Harthama ben A’yan et une mauvaise administration, conduisent à des soulèvements d’une grande ampleur en 788 et 794/795.
L’Ifriqiya est constamment agitée par des troubles. Harthama ben A’yan en confie l’administration en 797 à Ibrâhîm ben al-Aghlab. Celui-ci en profita pour fonder sa propre dynastie en 800 les Aghlabides.
En Syrie, l’opinion reste favorable aux Omeyyades contre les Abbassides. En 796, Hârûn envoya en Syrie, une troupe sous le commandement de Fadhl ben Yahyâ pour y rétablir l’ordre.
De nombreux mouvements de révoltes populaires ont lieu dans tout l’empire. Les inégalités sociales sont trop grandes. Ces mouvements de contestation prennent souvent une coloration religieuse kharijite* ou chiite* contre le sunnisme* du pouvoir central. Ce contexte a motivé une politique de répression contre les groupes religieux dissidents* (kharijites et chiites), des mesures restrictives à l’égard des dhimmis* en leur imposant un costume distinctif, et des arrestations au sein d’une élite athée*(kafir) ou soupçonnée de l’être. Cette politique était censée plaire aux religieux et à la majorité sunnite de la population.
La famille des Barmécides avait fourni des vizirs et des gouverneurs aux deux précédents califes. Yahyâ ben Khâlid avait été emprisonné par le précédent khalife al-Hâdî. Hârûn l’a fait libérer et a placé un certain nombre de membres de sa famille à différents postes de vizir ou de gouverneur de province.