Nama dari Adipati Mercia yang meninggal 725, yang kemudian di tanah Dudd munculah kastil Dudley.
Bebeberapa abad kemudian, keluarga tinggal di tanah Dudd kemudian mengambil nama keluarga Dudley. Mereka kemudian menetap disana pada awal 1740-an hingga 1753.
Namun kisah tentang kutukan di Dudleytown merebak ketika bangsawan Inggris menelusurinya masa lalu leluhur Dudley.
Legenda menyebut Salah satu tetua, Edmund Dudley kepalanya dipotong karena merencakan melawan Raja Henry VII, juga diberikan kutukan bagi keluarga Dudley dan siapa saja yang tinggal di Dudleytown.
Beertahun kemudian, beberapa penduduk Dudleytown menjadi gila, dua wanita bernama Mary Cheney dan Harriet Clarke gantung diri di Dudleytown tahun 1872.
Setelah perang sipil desa ini menjadi desa hantu, hingga semua orang memutuskan meninggalkan desa ini.