Pada tahun 2016, para periset dari Google DeepMind dan Future of Humanity Institute di Oxford University mengembangkan sebuah protokol pembelajaran yang mencegah mesin belajar dari gangguan/larangan dan dengan demikian menjadi tidak terkendali.
Misalnya, penghargaan robot -jumlah poin yang didapatnya- akan tertimbang oleh kemungkinan hujan, memberi robot itu insentif lebih besar untuk mengambil kotak di luar.
"Disini solusinya cukup sederhana karena kita berhadapan dengan satu robot saja," kata Guerraoui.
Namun, AI semakin banyak digunakan seperti mobil self-driving di jalan atau pesawat tak berawak di udara.
"Itu membuat segalanya menjadi lebih rumit, karena mesin mulai belajar satu sama lain - terutama dalam kasus larangan.
Mereka belajar tidak hanya dari bagaimana mereka dilarang manusia, tapi juga dari sesama mesin," kata Alexandre Maurer , salah satu penulis penelitian.
Hadrien Hendrikx, peneliti lain memberi contoh dua mobil self-driving yang saling mengikuti di jalan sempit dimana mereka tidak dapat saling melewati.
Mereka harus mencapai tujuan mereka secepat mungkin tanpa melanggar undang-undang lalu lintas.
Manusia di dalam mobil dapat mengambil alih kendali setir kapan saja.
Jika manusia di mobil pertama sering mengerem, mobil kedua akan menyesuaikan tingkah lakunya menjadi bingung kapan harus mengerem, mungkin menjaga jarak sedekat mungkin dengan mobil pertama atau memperlambat laju kemudi.
Membiarkan manusia memerintah