Ide membangun jembatan untuk menyatukan dua daratan di Kota Palembang ini sebetulnya sudah ada sejak zaman Gemeente Palembang, tahun 1906.
Saat jabatan Wali Kota Palembang diduduki oleh Le Cocq de Ville, tahun 1924, muncul kembali gagasan untuk membangun jembatan tersebut.
Tapi sampai jabatan Le Cocq de Ville berakhir bahkan saat Belanda pergi dari Indonesia, proyek pembangunan itu tetap tidak pernah terealisasi.
Lalu pada masa kemerdekaan, gagasan itu kembali muncul, DPRD Peralihan Kota Besar Palembang kembali mengusulkan lagi pembangunan jembatan saat sidang pleno yang berlangsung pada 29 Oktober 1956.
Seperti disinggung di awal, pembangunan jembatan ini terbilang cukup nekat.
Bagaimana tidak nekat, saat itu anggaran yang dimiliki Kota Palembang yang akan digunakan sebagai modal awal membangun jembatan sekitar Rp30.000.
Kemudian tahun 1957, dibentuk panitia pembangunan, yang terdiri dari Penguasa Perang Komando Daerah Militer IV/Sriwijaya, Harun Sohar, dan Gubernur Sumsel, H.A. Bastari dan pendampingnya Wali Kota Palembang, M. Ali Amin, beserta Wakil Wali Kota, Indra Caya.
Tim ini kemudian melakukan pendekatan kepada Presiden Soekarno untuk mendukung pembangunan jembatan tersebut.
Setelah bertemu, gagasan tersebut disetujui oleh Bung Karno, dengan syarat dibuat juga taman terbuka di kedua ujung jembatan itu.
Lalu pada April 1962, pembangunan pembuatan jembatan pun dimulai.
Biaya pembangunannya diambil dari dana pampasan perang Jepang.
Selain itu, jembatan ini pun menggunakan tenaga ahli dari negara Jepang. Proses pembangunan jembatan ini memakan waktu tiga tahun.