Seumur hidupnya dia menikah sebanyak tiga kali, pertama dengan Mildred Williams pada tahun 1949
Pasangan ini memiliki dua anak sebelum perceraian mereka pada tahun 1959, alasannya adalah karena perselingkuhan Midred.
Tahun 1989, Hugh menikah lagi dengan model panasnya, Kimberley Conrad, namun pernikahan itu tidak berlangsung lama.
Hugh dan Kimberley sering berdebat dan memutuskan bercerai pada tahun 2010.
Sebelumnya mereka memiliki dua anak bersama, dan pada awal 2012 Hugh yang berusia 86 tahun menikah dengan modelnya Crystal Harris yang berusia 26 tahun.
Tidak jelas apakah karena naluri seorang pria atau pembuatan majalah dewasa dalam kehidupan Hugh, yang membuat kisah cintanya tidak berjalan baik.