Meskipun tekanan datang padanya untuk menikah dan melahirkan ahli waris, Elizabeth dengan tegas menolak - dan dia menjelaskan bahwa Robert adalah favoritnya.
Di istananya, kamar Robert dipindahkan di sebelahnya, menyebabkan skandal di seluruh Inggris dan juga Eropa.
Hal ini digunakan oleh sepupu dan saingan Elizabeth, Mary, Ratu Skotlandia, yang memberi tahu wanita bangsawan lain, Bess dari Hardwick, bahwa Robert telah terlihat mengunjungi kamar Elizabeth berkali-kali.
Ini menjadi lebih buruk ketika, pada tahun 1587, seorang pria bernama Arthur Dudley, saat mengunjungi istana Philip II di Spanyol, mengaku sebagai anak tidak sah dari Ratu dan Robert.
Arthur juga dapat menyebutkan nama seorang pelayan yang membawanya dari Istana Hampton Court dan membesarkannya sebagai anaknya sebelum mengakui semuanya di ranjang kematiannya pada tahun 1583.
Namun, tidak ada bukti nyata untuk mengkonfirmasi cerita tersebut.
Menambah panas gosip tersebut, istri Robert Dudley meninggal secara misterius pada tahun 1560.
Robert mendesak penyelidikan yang tidak memihak, yang menemukan bahwa itu adalah kecelakaan: istrinya jatuh dari tangga, lehernya patah.