Lalu pada awal tahun 1860-an, ketika Perang Saudara pecah, Alcatraz berfungsi sebagai tempat untuk melindungi dan menyimpan senjata api untuk gudang senjata San Francisco.
Karena posisinya yang strategis, sebuah benteng pun dibangun dengan 11 meriam diletakkan di atasnya di pulau itu.
Selama perang, simpatisan Konfederasi dikirim ke pulau itu.
Pada tahun 1868, setelah pembangunan penjara batu bata, secara resmi ditetapkan sebagai tempat penahanan jangka panjang bagi tahanan militer.
Kemudian dari tahun 1909 hingga 1911, sebuah penjara baru yang lebih baik dibangun di tempat itu.
Bangunan baru, yang kemudian dikenal sebagai ‘The Rock’ dibangun oleh para tahanan.
Pulau itu berada di bawah yurisdiksi Angkatan Darat Amerika Serikat dari tahun 1850 hingga 1933, ketika dipindahkan ke kepemilikan Departemen Kehakiman, yang digunakan oleh Biro Federal Lembaga Pemasyarakatan.
Lalu diputuskan Alcatraz menjadi penjara federal dengan keamanan maksimum, dengan hak istimewa minimum yang diberikan kepada tahanan paling berbahaya di tanah Amerika.
Tahanan pertama yang dibawa ke tempat itu pada tahun 1934, diborgol dan dijaga oleh agen FBI.
Direktur utama penjara ketika itu adalah James A. Johnston, yang menjalankan institusi dengan tangan besi sampai tahun 1948.
Ada keheningan mutlak di pihak otoritas penjaran, bahkan kehadiran pers pun dilarang.
Staf penjara awalnya berjumlah sekitar 150 orang, yang tinggal bersama keluarga mereka di pulau itu.