Hidup sebagai Gubernur, Umar bin Abdul Aziz memiliki gaya hidup yang mewah dan serba kecukupan.
Di bawah kendali Umar, Madinah menjadi lebih baik dari sebelumnya.
Berbagai masalah yang biasanya dikeluhkan ke Damaskus bisa diselesaikan hanya di Madinah.
Selama memerintah di Madinah, Umar membentuk dewan syura (musyawarah) yang anggotanya tujuh orang.
Para anggota dewan syura itulah yang kemudian membantunya dalam menjalankan pemerintah provinsi di Madinah.
Kebijakan yang diambilnya membuat puas berbagai pihak.
Hal ini yang membuat Umar terkenal saleh dan bijaksana.
Kemahsyurannya membuat kelompok Syiah yang dipandang sebagai penentang Umayyah di Irak, hijrah dan berlindung di Madinah.
Hal ini dilakukan karena kelompok Syiah mendapat diskriminasi dari gubernur mereka, yaitu Al-Hajjaj bin Yusuf.
Kelompok Syiah mendapat perlakuan diskriminatif karena kerap melontarkan kritik kepada pemerintahan Umayyah.
Hal ini menimbulkan rasa tidak suka dari pemerintah Umayyah.
Akibat melindungi kaum Syiah, Gubernur Al-Hajjaj menuntut Khalifah Al-Walid I untuk mencopot Umar bin Abdul Aziz dari jabatannya sebagai Gubernur Madinah.