Meski begitu, karena kasus tersebut, Kelly harus mendekam di penjara.
Beberapa bulan dalam penjara, Kelly bertemu dengan kawanan perampok bank, salah satunya adalah Kathryn Thorne, seorang wanita yang memikat hatinya.
Tanpa ragu, Kelly menikahi Karthryn pada tahun 1930.
Kathryn, istri Kelly diyakini telah mempengaruhi Kelly menjadi penjahat yang lebih brutal lagi.
Kathryn pula yang membelikan pistol pertama bagi suaminya itu.
Baca Juga : MimiBox: Mesin Penjual 'Mainan Dewasa' Otomatis yang Memicu Kekhawatiran
Berdua, mereka menemui kepala komplotan perampok bank Keating dan Holden dan membentuk sebuah tim perampok yang andal.
Kejahatan perampokan terus mereka lakukan bersama.
Saat beraksi, Kelly dan Kathryn tak ragu membunuh para sanderanya dengan senapan mesin.