Kekhawatirannya akan kemerdekaan mahkotanya diredakan oleh sejumlah hak istimewa untuk Bavaria, meskipun tuntutannya untuk peningkatan teritorial yang substansial dan pergantian gelar kekaisaran antara Prusia dan Bavaria tetap tidak terpenuhi.
Kecewa dengan kekaisaran, khawatir dengan antusiasme Pan-Jerman penduduk Bavaria, dan lelah berseteru dengan menterinya atas langkahnya untuk memperkuat gereja, ia semakin pensiun dari politik.
Ludwig kemudian lebih memilih menjalani kegiatan pribadinya saja.
Dia tergila-gila dengan dunia teater dan opera, dan selanjutnya memusatkan perhatian hampir secara eksklusif dengan upaya artistiknya.
Dia juga mengembangkan mania yang luar biasa untuk membangun istana di pegunungan Bavaria yang dia cintai.
Istana di Herrenchiemsee (Herrn-Insel), dibangun dari tahun 1878 hingga 1885 dan tidak pernah selesai, adalah salinan Versailles yang paling fantastis.
Istana itu merupakan kastil dongeng yang terletak di atas tebing dan didekorasi dengan pemandangan opera romantis Wagner.
Ia memiliki banyak proyek seni ambisius khususnya yang terkait Richard Wagner, seorang komponis musik romantik.