Sayangnya, ada musuh dibalik selimut.
Ya, musuh-musuhnya menyebar rumor tentang Alfonso bahwa dia nantinya akan menyerang pemerintah negaranya di India.
Rumor itu lantas sukses membuat dirinya dilengserkan dari jabatannya. Ditambah musuh besarnya menggantikan posisinya.
Mendengar berita itu, Alfonso begitu terpukul dan jatuh sakit.
Pada akhirnya dia meninggal pada 16 Desember 1515.
Sesuai keinginannya, Alfonso dimakamkan di Goa, tepatnya di Gereja Nossa Senhora da Serra yang dibangunnya pada 1513.
Namun pada 1566, makamnya dipindahkan ke Gereja Nossa Senhora da Graca di Lisbon
Begitulah akhir hidup dari Alfonso de Albuquerque.