Pria yang akan menjadi penguasa kejahatan itu dikaitkan dengan geng jalanan mulai usia 12 tahun.
Dengan cepat dia beralih dari perilaku preman umum ke pencurian mobil dan truk, membajak truk keluar dari bandara yang akhirnya berganti nama menjadi JFK di New York.
Geng yang bergabung dengan Gotti berafiliasi dengan keluarga kriminal Anastasia, sebuah organisasi yang pada akhirnya akan menjadi keluarga Gambino.
Sikap kurang ajar Gotti menarik perhatian Aniello Dellacroce, seorang capo di keluarga Anastasia yang, di masa mudanya, menghindari polisi dan gangster saingan dengan berjalan-jalan di New York berpakaian seperti seorang pendeta.
Dellacroce lantas membimbing Gotti tetapi tidak dapat mengajarinya segalanya tentang menjauh dari FBI.
Pada pertengahan tahun 60-an dia telah dipenjara lebih dari sekali, dan kemudian pada tahun 1968 dia ditangkap oleh FBI karena membajak barang di bandara.
Saat keluar dengan jaminan dia ditangkap lagi karena mencuri rokok dan akhirnya dia menghabiskan waktu kurang dari tiga tahun di penjara.
Gotti dibebaskan pada tahun 1972 dan kembali ke aktivitas massa lamanya.
Dia dan Dellacroce semakin dekat di awal tahun 70-an saat Gotti membuktikan nilainya kepada keluarga kriminal, terutama saat dia bekerja sebagai penegak hukum.
Gotti disebut sebagai capo akting atau kepala unit mafia.
Gotti berulang kali masuk penjara. Misalnya pada 1974 saat dia ditangkap karena tuduhan pembunuhan.