Sekitar usia lima tahun, kulit wajahnya berubah warna dan kulit kasar mulai muncul pada tubuhnya, yang menurut orangtuanya disebabkan karena ibunya takut pada seekor gajah yang tersandung saat dia hamil.
2. Dia punya tiga saudara yang semuanya meninggal saat masih muda
Ketiga saudaranya, joseph Carey, Willian Arthur dan Marion Eliza meninggal pada usia yang masih sangat muda.
3. Saat berusia 11 tahun, ibunya meninggal
Tahun 1873, ibu Joseph meninggal karena pneumonis bronkial saat Joseph berusia 11 tahun dan ayahnya menikah lagi.
4. Dia dipukuli dan ditolak oleh ayahnya
Pada usia 13 tahun, Joseph meninggalkan sekolah untuk menjadi salesman dari pintu ke pintu dengan karung goni yang menutupi wajahnya.
Pada usia 17, Joseph diusir dari rumahnya oleh ayahnya karena tidak dapat menghasilkan uang.
5. Dia terpaksa tinggal di sebuah tempat kerja pada usia 17 tahun
Sebagai seorang tunawisma, Joseph terpaksa mencari perlindungan di Leicester Union Workhouse yang merupakan rumah kerja paruh waktu. Di sana yang lebih seperti penjara di mana orang-orang yang dianggap tidak dapat dipekerjakan diminta melakukan kerja keras yang melelahkan.