Mereka menyatakan menyatukan diri ke dalam Partai Persatuan Pembangunan (PPP).
Sedangkan partai yang bercorak nasionalis bergabung membentuk Partai Demokrasi Indonesia (PDI).
Fusi partai-partai Islam pada awalnya menguntungkan NU, karena hal itu dilakukan saat NU berhasil memperoleh suara yang jauh di atas partai-partai lain.
Pada pemilu 1971, Partai NU memperoleh 18,4 persen suara.
Dengan pertimbangan itu, NU mendapat 58 kursi atau 61,7 persen dari keseluruhan kursi partai Islam sebanyak 94 kursi.
Meskipun NU memperoleh suara mayoritas, tetapi saat itu jabatan Ketua Umum Dewan Pimpinan Pusat PPP dipegang orang non-NU yaitu HMS Mintaredja dari Parmusi.
Sementara NU hanya mendapat jatah jabatan yang bersifat bergengsi.
Perselisihan di tubuh PPP antara NU dan partai lainnya kemudian mencuat.
Persoalan yang terjadi adalah ketika Parmusi menuntut supaya pengaruh NU di PPP dikurangi.
Puncak perselisihan faksi NU dan kelompok lain dalam PPP mencapai puncak pada Pemilu 1982.
Saat itu 29 tokoh NU dicoret dari daftar calon anggota legislatif. Alhasil, suara supaya NU melepaskan diri dari kegiatan politik praktis dan kembali ke khittah 1926 semakin kencang.
Keputusan NU untuk meninggalkan panggung politik disepakati dalam Musyawarah Nasional Alim Ulama NU pada 1983 di Situbondo, Jawa Timur.
Lalu pada Muktamar 1984 di tempat yang sama, NU menyatakan kembali ke Khittah 1926 dan secara organisasi melepaskan diri dari ikatan organisasi politik dan organisasi kemasyarakatan lain.
Keputusan itu membuat NU tidak lagi aktif dan terkait dengan PPP dan mengakhiri jejak politik praktis NU di kancah nasional.
Begitulah bagaimana NU akhirnya memutuskan keluar dari politik praktis dan kembali ke Khittah 1926.