Kondisi itu terus memanas hingga pecah pemberontakan karena jabatan-jabatan strategis di pemerintahan diberikan Utsman kepada kerabatnya dari Bani Umayyah.
Dalam kondisi yang serba tak menentu itu, Khalifah Ustman dibunuh di rumahnya.
Muawiyah bin Abu Sufyan, sepupu Utsman yang saat itu menjabat sebagai Gubernur Suriah, tidak terima dengan perbuatan para pemberontak.
Takut dengan ancaman yang bisa datang dari Muawiyah I, penduduk Madinah mengangkat Ali bin Abi Thalib sebagai pengganti Utsman.
Ali adalah kerabat dekat Nabi Muhammad, sehingga dianggap oleh Muslim Syiah berhak menjadi khalifah.
Khalifah Ali berusaha mengembalikan pemerintahan Islam agar stabil, tetapi tidak berhasil karena ia dianggap gagal memberikan keadilan atas kematian Utsman.
Bahkan, Muawiyah I tidak mau mengakui Ali sebagai khalifah sampai tuntutannya untuk membalas pembunuhan Utsman terselesaikan.
Akibatnya, meletus Perang Jamal atau Perang Unta pada 656, yang sekaligus menandai dimulainya Perang Saudara Islam I.
Perang Saudara Islam I berakhir ketika Khalifah Ali terbunuh oleh golongan Khawarij.
Setelah itu, Hasan bin Ali sebagai putra tertua Ali dibaiat oleh orang-orang Madinah menjadi khalifah selanjutnya.
Hasan bin Ali tidak memerintah dalam waktu lama.
Hanya sekitar tiga bulan setelah dibaiat, ia memilih menyerahkan jabatan sebagai pemimpin kekhalifahan kepada Muawiyah I.