Cadas Pangeran dibangun sekitar tahun 1808 oleh pemerintah kolonial Belanda di bawah kepemimpinan Gubernur Jenderal Herman Willem Daendels.
Ketika itu Daendels berambisi untuk membangun akses jalan penghubung di Pulau Jawa yakni dari Anyer sampai Panarukan.
Jalan tersebut melintas dari barat Jawa hingga Jawa bagian timur.
Budayawan Sumedang Tatang Sobana mengatakan saat di Sumedang, pembangunan jalan sepanjang 1.000 kilometer terhalang gunung yang materialnya adalah batuan cadas.
Namun untuk menyelesaikan jembatan gantung di jalur tersebut, Daendles mengerahkan ribuan pekerja yang mayoritas adalah warga Sumedang.
Mereka bekerja secara rodi selama setahun untuk menyelesaikan jembatan gantung untuk proyek ambisius Daendles.
Tak hanya warga Sumedang, ribuan warga yang mmebangun jembatan gantung di wilayah tersebut juga berasal dari Garut, Tasikmalaya, Subang dan Indramayu.
Mereka bekerja secara rodi di bawah pengawasan prajurit kompeni.
Namun ribuan pekerja itu tewas karena kelaparan dan wabah penyakit malaria.
Bukti adanya korban ribuan pekerja tersebut adalah keberadaan kuburan massal yang terletak di atas jembatan Cadas Pangeran.
Bupati Sumedang ketika itu, Pangeran Kornel atau Pangeran Kusumadinata XI, marah besar karena sistem kerja paksa yang mengorbankan rakyatnya.
Ia kemudian menemui Gubernur Daendles.