Umar bin Abdul Aziz lahir di Madinah pada 2 November 682 Masehi atau 26 Safar 63 Hijriyah.
Ayah Umar bernama Abdul Aziz bin Marwan yang merupakan keturunan Bani Umayyah.
Sedangkan ibunya adalah Ummu Ashim atau Laila yang merupakan cucu dari Umar bin Khattab.
Umar bin Abdul Aziz menghabiskan sebagian masa kecilnya di wilayah kekuasaan ayahnya di Mesir.
Tapi Umar merasakan pendidikan di kota Madinah hingga masa mudanya.
Di Madinah, Umar muda mendapat pendidikan dari para ulama Madinah.
Setelah ayahnya meninggal, Umar dipanggil ke Damaskus oleh Khalifah Abdul Malik dan menikah dengan anak perempuannya yang bernama Fatimah.
Setelah mertuanya meninggal, Umar diangkat sebagai Gubernur Madinah oleh Khalifah Al-Walid I.
Umar kemudian ditunjuk sebagai Gubernur di Madinah dengan tujuan meredam ketegangan antara penduduk Madinah dengan pihak pemerintah pusat Umayyah.
Sebelumnya, Madinah yang menolak kepemimpinan Umayyah akhirnya ditaklukkan lewat pertempuran al-Harrah di masa Khalifah Yazid.
Setelah itu, Umayyah menunjuk Gubernur Hisyam bin Ismail al-Makhzumi yang terkenal keras dalam memerintah di Provinsi Madinah.
Hal ini yang membuat rakyat Madinah berselisih dengan Damaskus yang menjadi pusat Dinasti Umayyah.