Sayangnya rencana ratu ketahuan, tetapi kali ini dia berencana membunuh seluruh keluarga Wei Zifu.
Tetapi tingkah laku Permaisuri Chen itu membuat Kaisar Wu jijik, sehingga dia mempromosikan Wei Zifu ke selir peringkat tertinggi di haremnya.
Dia menjadi Lady Wei dan melahirkan tiga anak perempuan.
Permaisuri Chen, yang tidak suka melihat Wei Zifu dicintai oleh suaminya, kemudian menggunakan ilmu sihir.
Pada 130 SM, Chen digulingkan atas tuduhan bahwa dia memerintahkan seorang penyihir untuk mengutuk Wei Zifu.
Dekrit yang dikeluarkan menyatakan bahwa Permaisuri Chen telah ‘melanggar hukum dengna melakukan sihir dengan para penyihir dan tidak layak menjadi Permaisuri’.
Nyawa Permaisuri Chen terselamatkan, tetapi dia harus melepaskan gelar kekaisarannya dan dikirim untuk tinggal di Istana Changmen, tempatnya menjalani sisa hari-hari kesepiannya.
Setahun setelah Permaisuri Chen digulingkan, Lady Wei melahirkan seorang putra bernama Liu Ju, yang membuat Kaisar Wu kemudian menjadikan Wei Zifu permaisurinya pada tahun 128 SM, saat wanita itu berusia dua puluh delapan tahun.
Sebagai permaisuri, Wei Zifu mempromosikan anggota keluarganya ke status tinggi, seperti kakaknya, Wei Qing, dan keponakannya, Huo Qubing, menjadi dua jenderal paling terkenal di dinasti Han.
Anak tiri saudara perempuannya diangkat pada posisi paling kuat di pemerintahan sebagai Marshal.