Dia menghabiskan beberapa waktu di Damaskus dan Yerusalem, dalam perjalanannya mengunjungi Mekkah dan Madinah pada 1096.
Pada 1096, Al-Ghazali kembali ke Tus menghabiskan beberapa tahun berikutnya dalam pengasingan, yang tidak mengikuti ajaran yang disokong oleh negara.
Tapi Al-Ghazali tetap menerbitkan karya, menerima tamu, serta mengajar di madrasah swasta dan biara Sufi yang dibangunnya. Wazir Agung Ahmad Sanjar, Fahr al-Mulk, mendesak Ghazali untuk kembali ke Nizamiyya di Nishapur.
Awalnya, ia bersikeras menolak, tetapi akhirnya diterimanya pada 1106.
Selama hidup al-Ghazali ia menulis lebih dari 70 buku tentang sains, filsafat Islam, dan tasawuf.
Al-Ghazali menerbitkan bukunya The Incoherence of Philosophers, hal ini ditandai sebagai titik balik dalam epistemologi Islam.
Pandangan skeptisismenya membuat Al-Ghazali membentuk keyakinan bahwa semua peristiwa dan interaksi bukanlah produk dari konjungsi material, melainkan kehendak Tuhan yang hadir dan langsung.
Karya Al-Ghazali lainnya yang paling terkenal adalah Ihya "Ulum al-Din" atau Kebangkitan Ilmu Agama.
Karya tersebut mencakup hampir semua bidang ilmu Islam.
Ini termasuk yurisprudensi Islam, teologi, dan tasawuf. Buku tersebut mendapat banyak komentar positif.
Al-Ghazali kemudian menulis versi ringkas dari "The Revivial of Religious Sciences in Persia" dengan judul "Kimiya-yi sa'adat" yang juga dikenal sebagai "The Alchemy of Happiness".
Al-Ghazali memberikan pengaruh signifikan kepada para filsuf dari lintas agama pada abad pertengahan.