Meskipun Müller bukan anggota partai Nazi dan bahkan telah didokumentasikan menyebut Hitler sebagai 'pelukis rumah pengangguran imigran' dan 'pengelana wajib Austria', Heinrich mengagumi keahliannya sebagai polisi dan dedikasinya yang tidak perlu dipertanyakan kepada Negara.
Saat cengkeraman Nazi di Jerman semakin ketat selama tahun 1930-an, Müller kembali naik pangkat di bawah bimbingan Heinrich dan pada tahun 1934 ia bergabung dengan Gestapo.
Pada tahun 1938, Müller memerintahkan penangkapan sekitar 30.000 orang Yahudi selama Kristallnacht (Malam Kaca Pecah) yang terkenal itu, mengutip 'tindakan paling ekstrim' yang harus diambil terhadap orang-orang Yahudi.
Pada tahun 1939, dia akhirnya bergabung dengan partai Nazi terutama untuk lebih meningkatkan karirnya dan pada bulan September tahun itu dia diangkat menjadi Kepala Gestapo, mendapatkan julukan 'Gestapo Müller'.
Bersamaan dengan mengawasi implementasi kebijakan Hitler terhadap orang Yahudi dan orang lain yang dianggap 'sub-manusia' oleh rezim Nazi, dia juga membantu merencanakan proyek bendera palsu yang diberi nama kode Operasi Himmler.
Proyek tersebut tampaknya menciptakan kesan agresi Polandia terhadap Jerman untuk membenarkan invasi Nazi ke Polandia, melansir sky history.
Selama perang, Müller menciptakan jaringan agen ganda yang sangat sukses yang memberikan informasi palsu ke dinas intelijen Soviet.
Pada tahun 1944, setelah upaya pembunuhan yang gagal terhadap Hitler yang dikenal sebagai Plot Juli, Müller ditugaskan untuk menemukan mereka yang bertanggung jawab.
Penyelidikannya menyebabkan penangkapan lebih dari 5.000 orang dan eksekusi sekitar 200 orang.