Počela je treća revolucija u ratovanju. Zašto je smatraju opasnijom od nuklearne?

BRZ razvoj umjetne inteligencije (AI) posljednjih godina otvara mogućnost za neviđen napredak suvremene civilizacije u raznim područjima ljudskih aktivnosti, od transporta i poljoprivrede, preko znanosti i medicine, do sigurnosti. Taj napredak već sada mnogi ocjenjuju kao tehnološku revoluciju usporedivu s izumom kotača i parnog stroja.

No s druge strane, sve je više znanstvenika, tehnoloških stručnjaka i mislilaca koji upozoravaju na ozbiljnost prijetnji koje AI može predstavljati za čovječanstvo. Ponajviše se kao problem ističe razvoj tzv. "smrtonosnih autonomnih sustava oružja" (engl. autonomous lethal weapons) ili "robota ubojica", sustava oružja koji koriste umjetnu inteligenciju za identificiranje, odabir i ubijanje ljudskih meta bez ljudske intervencije.

Treća revolucija u ratovanju

Na opasnosti koje za ljudsku vrstu može predstavljati razvoj takvog oružja, ako se neće zabraniti ili regulirati, već godinama upozoravaju brojne slavne osobe iz svijeta znanosti i tehnologije, među kojima su se posebno istaknuli britanski fizičar i kozmolog Stephen Hawking, suosnivač Microsofta, jedan od najpoznatijih poduzetnika i filantropa Bill Gates te suosnivač i direktor nekoliko inovativnih tvrtki, uključujući SpaceX, Teslu i Neuralink, Elon Musk.

Oni su mnogo puta u medijima, peticijama i otvorenim pismima izrazili zabrinutost da bi roboti ubojice mogli postati ozbiljna prijetnja čovječanstvu, možda čak veća od nuklearnog oružja.

2015. godine oni su se, uz suosnivača Applea Stevea Wozniaka, lingvista i filozofa s MIT-ja Noama Chomskog, šefa Googleove umjetne inteligencije Demisa Hassabisa, stručnjaka za svijest i filozofa Daniela Dennetta te fizičara i kozmologa Maxa Tegmarka, našli među više od 1000 poznatih znanstvenika i tehnoloških stručnjaka u području umjetne inteligencije i robotike koji su potpisali otvoreno pismo nazvano "Autonomous Weapons Open Letter: AI & Robotics Researchers" upućeno UN-u. U tom pismu, koje je do danas potpisalo gotovo 35.000 ljudi, razvoj autonomnog ubojitog oružja opisan je kao treća revolucija u ratovanju, nakon izuma baruta i nuklearnog oružja.

Autori pisma, koje je pokrenuo Future of Life Institute, navode da se kao ključni argument u raspravama o tom oružju s jedne strane obično navodi da će ono smanjiti ljudske žrtve, a s druge da će ono sniziti prag za odlazak u bitke.

"Ključno pitanje danas je hoće li čovječanstvo započeti globalnu utrku u naoružanju s umjetnom inteligencijom ili spriječiti njen početak. Ako bilo koja velika vojna sila nastavi s razvojem AI oružja, globalna utrka u naoružanju gotovo je neizbježna, a krajnja točka ove tehnološke putanje je očita: autonomno oružje postat će kalašnjikovi sutrašnjice. Za razliku od nuklearnog oružja, ono ne zahtijeva skupe ili teško dostupne sirovine, tako da će postati sveprisutno i jeftino za masovnu proizvodnju za sve značajne vojne sile.

Bit će samo pitanje vremena kada će se pojaviti na crnom tržištu i u rukama terorista, diktatora koji žele bolje kontrolirati svoje stanovništvo, gospodara rata koji žele počiniti etničko čišćenje, itd. Autonomno oružje idealno je za zadatke kao što su atentati, destabiliziranje naroda, pokoravanje stanovništva i selektivno ubijanje određene etničke skupine. Stoga vjerujemo da vojna utrka u naoružanju s umjetnom inteligencijom ne bi bila korisna za čovječanstvo. Postoji mnogo načina na koje umjetna inteligencija može bojna polja učiniti sigurnijima za ljude, posebno za civile, bez stvaranja novih alata za ubijanje ljudi“, upozorili su autori, reminiscirajući tako pismo UN-u kojim su 1955. godine fizičar Albert Einstein i britanski filozof Bertrand Russell pozvali na nuklearno razoružanje i međunarodnu kontrolu nuklearnog oružja.

No velike sile poput SAD-a, Rusije i Kine do danas nisu pristale na regulaciju razvoja autonomnog oružja, već samo na pridržavanje nekog okvirnog kodeksa jer se boje da bi im nametanje pravila moglo donijeti vojno-strateško zaostajanje.

Autonomno oružje nije SF

Dok termin "roboti ubojice" u svijest priziva neku sofisticiranu kreaciju iz daleke budućnosti i SF filmova kao što je Terminator, iz naziva "autonomno ubojito oružje" jasnije je da se definicija odnosi na sustave koji su već na dohvat ruke.

Sjedinjene Države, Kina, Izrael, Južna Koreja, Rusija i Velika Britanija već razvijaju sustave oružja sa značajnom autonomijom u kritičnim funkcijama odabira i napada na mete. U desetak zemalja svijeta već sada postoji više od stotinu sustava autonomnog oružja.

Primjerice, izraelski sistem Harpy, autonomni sustav za uništavanje radarskih ciljeva može prepoznati radarske signale i samostalno napadati njihove izvore. Britanski sistem Taranis, prototip autonomne borbene bespilotne letjelice, može s velikih nadmorskih visina izvršavati različite misije, uključujući napade na ciljeve.

U ožujku 2021. UN-ova skupina stručnjaka za Libiju izvijestila je da je Turska ondje možda upotrijebila autonomno oružje STM Kargu-2, koje je "programirano za napad na ciljeve bez potrebe za podatkovnom vezom između operatera i streljiva“.

Igor Tabak, analitičar portala OBRIS - Obrana i sigurnost, kaže da u tom kontekstu posebno zabrinjavaju roboti koje razvija Boston Dynamics (video dolje). "Oni bi uz dodatak AI-a mogli biti jako zanimljivi i neugodni, posebno ako bi se na bojište slali u velikim brojevima“, ističe naš vojni analitičar.

Koristi li se u ratu u Ukrajini autonomno oružje?

Prema nekim navodima, Moskva je u Ukrajini koristila letjelice Lancet i KUB-BLA koje potencijalno mogu koristiti umjetnu inteligenciju, dok je Kijev koristio dronove Bayraktar TB2 turske proizvodnje te američke Switchblade 300 i Switchblade 600, koji također imaju neke autonomne sposobnosti (video dolje).

Iako je uglavnom teško odrediti koristi li se u takvim situacijama autonomni način djelovanja oružja, stručnjaci ističu da bi upravo rat u Ukrajini trebao biti poticaj istraživačima i međunarodnoj zajednici da udruže snage kako bi što prije zabranili takvo oružje.

Tabak smatra da se u ratu u Ukrajini za sada još uvijek ne koristi autonomno oružje u punom smislu te riječi. "Stvari još nisu otišle tako daleko, barem ne da bi se to vidjelo u javnoj sferi“, kaže.

"Ono što Ukrajina koristi uglavnom nije tehnološki 'na oštrici', a uz ponešto vojnih sustava naglasak je dobrim dijelom na široko dostupnoj komercijalnoj opremi koja je možda osjetljivija na protumjere od skupljih namjenskih vojnih sustava, ali je bitno jeftinija te brzo masovno dostupna na tržištu, bez posebnih dozvola ove ili one tehnološke velesile. Ipak, mnogo je tu proizvoda i koncepata isprobano prvi put, tako da se ovaj rat ipak može smatrati bitnim za takve tehnologije. U ovom kontekstu zanimljivo je pitanje kako Rusi misle izvesti navođenje za svoje hipersonične nosačeizmjenji nuklearnih bojnih glava i nuklearna torpeda Poseidon, koji imaju resurse pogona za dugo i kompleksno manevriranje, što bi bilo idealno područje za korištenje AI-a“, napominje Tabak.

Roboti ubojice mogli bi postati opasniji od nuklearnog oružja

Stručnjaci za umjetnu inteligenciju već godinama upozoravaju da se male naoružane bespilotne letjelice mogu jeftino proizvesti u velikim količinama te da bi nekoliko talentiranih studenata informatike bilo dovoljno da ih programira.

"Kada vam više ne trebaju ljudi za upravljanje tim oružjem, možete ih poslati na desetke tisuća ili čak milijune", upozorio je britanski istraživač umjetne inteligencije Stuart Russell u intervjuu za DW. "Čineći to, stvaramo oružje koje je potencijalno smrtonosnije od nuklearne bombe", dodao je.

Opasnosti koje predstavlja autonomno oružje

Strahovi vezani uz razvoj autonomnog oružja su brojni.

Jedan od njih je da bi ono moglo donositi odluke koje nisu u skladu s moralnim ili pravnim normama. AI nema emocija, empatije, savjesti niti svijesti o vrijednosti ljudskog života. Stoga je vrlo opasno dati mu mogućnost da samostalno odlučuje o životu i smrti. Osobito je problematično pitanje koje će sve odluke donijeti u tijeku ostvarivanja zadanog cilja; koga će sve doživjeti kao zapreku koju treba eliminirati na tom putu.

Drugi veliki problem je nepostojanje ljudske odgovornosti. U slučaju da autonomno oružje pogriješi i ubije civile ili izazove katastrofalne štete, nije jasno tko bi trebao biti odgovoran. Hoće li onaj tko autonomnom oružju povjerava zadatak biti odgovoran samo ako naredi zadatak s prevelikim rizicima za civile, kao što je primjerice slanje robota ubojice u gusto naseljena područja? A ako nitko neće biti dogovoran, onda vlasti mogu počiniti strašne zločine, a da nitko nikada ne odgovara za njih.

Nadalje, autonomno oružje moglo bi biti podložno napadima hakera, što bi moglo dovesti do preuzimanja kontrole nad njim i zloupotrebe. Njega bi se mogli dočepati teroristi, vođe raznih paravojski ili pripadnici kriminalnih bandi koji se zasigurno neće pridržavati nikakvih zakona i etičkih načela, već će ih koristiti za bezobzirne likvidacije svakoga tko im se nađe na putu.

Međunarodni odbor Crvenog križa (ICRC) upozorava da autonomno oružje predstavlja humanitarne rizike, pravne izazove i etičke probleme zbog poteškoća u predviđanju i ograničavanju njihovog učinka. Ono povećava opasnosti s kojima se suočavaju civili, ali i vojnici koji više ne sudjeluju u borbi, drugim riječima, oni koji su se predali ili su ozlijeđeni.

Autonomno oružje također može ubrzati upotrebu sile bez ljudske kontrole. Iako bi brzina mogla biti prednost za vojsku u nekim okolnostima, kada je nekontrolirana, postoji opasnost od eskalacije sukoba na nepredvidiv način i pogoršanja humanitarnih potreba, napominje ICRC.

Konačno, razvoj autonomnog oružja mogao bi povećati nestabilnost u međunarodnoj sigurnosti i pokrenuti globalnu utrku u naoružanju, što bi također na višoj razini moglo dovesti do eskalacija sukoba.

Argumenti u prilog autonomnog oružja

Pobornici autonomnog oružja s druge strane navode argumente u prilog njihovog razvoja.

Prije svega, smatraju da bi ono moglo smanjiti gubitke ljudskih života u vojnim operacijama jer bi stradavali roboti, a ne ljudi. No, tu je problem u tome što je za očekivati da bi to moglo smanjiti protivljenje ratu među stanovništvom zemalja u sukobu te, također, kako su upozorili autori otvorenog pisma, olakšati ulazak u sukobe.

Autonomno ubojito oružje moglo bi poboljšati preciznost i brzinu izvođenja vojnih operacija, što bi pak moglo povećati učinkovitost vojske. Pobornici tu ističu da mnoge suvremene projektile i druga oružja, kada su jednom lansirani, ionako navode razni senzori, kamere i algoritmi koji osiguravaju njihovu veću preciznost. Uvjereni su da bi umjetna inteligencija u tom smislu mogla biti čak bolja od ljudi jer bi mogla manje griješiti i bolje prepoznavati objekte i lica u kratkom vremenu. Specijalizirani AI se već do sada potvrdio sposobnijim od ljudi u brojnim područjima.

Jedan od važnih argumenata je i taj da bi autonomno oružje moglo biti puno ekonomičnije u smislu smanjenja troškova obuke i plaćanja vojnika. Sva znanja, obuke i vještine automatski bi se ugrađivali u sve robote određene vrste. Štoviše, u napadima rojeva autonomnih dronova svaki od dronova mogao bi komunicirati s drugima i razmjenjivati podatke te dogovarati detalje i raspored zadataka u akciji, a svi bi istovremeno mogli učiti (video testiranja roja dolje).

Autonomno ubojito oružje moglo bi biti programirano tako da se prilagođava različitim okolnostima i situacijama, što bi pak moglo povećati njegovu učinkovitost.

Konačno, postoje dronovi koji su dizajnirani za napade na specifične ciljeve, poput terorista, u različitim zemljama u svijetu, no oni za sada nisu potpuno autonomni u smislu da mogu samostalno donositi odluke o ubijanju ciljeva bez ljudske intervencije. Umjesto toga, takvi dronovi koriste se u kombinaciji s ljudskom kontrolom, obično operaterom koji ima daljinski upravljač i koji odlučuje kada i gdje napadati.

Međutim, tehnologija se neprestano razvija, a to i nije neko tehnološko pitanje, već prvenstveno etičko, pa je moguće da će se u skoroj budućnosti početi koristiti dronovi koji će samostalno donositi odluke o ubijanju ciljeva bez ljudske intervencije. Takva tehnologija bila bi ozbiljan etički izazov i trebala bi biti regulirana međunarodnim zakonima o ratovanju.

Važno je napomenuti da korištenje dronova za ciljano ubijanje ima ozbiljne posljedice na ljudska prava i međunarodno pravo te je stoga predmet žustrih rasprava i kritika.

Američki napadi dronovima

U ovom kontekstu nije na odmet podsjetiti na činjenicu da u američkim napadima dronovima na terorističke ciljeve posljednjih godina stradava značajan broj civila. Od terorističkih napada 11. rujna 2001., Sjedinjene Države izvele su brojne napade dronovima na militante u Pakistanu, Jemenu, Somaliji, Afganistanu, Iraku i Libiji.

Iako je teško utvrditi točan broj žrtava takvih napada, neovisne procjene nevladinih organizacija New America i Bureau of Investigative Journalism pokazuju da su civili među njima činili od 7.27% u Somaliji do 15.47% u Jemenu.

SAD je proveo istragu napada dronovima u Kabulu u kolovozu 2021. u kojem je poginulo sedmero djece čiji je otac radio za američke poslodavce. Mjesec dana kasnije Ministarstvo obrane objavilo je da je napad bio "tragična pogreška" te da je u njemu ubijeno 10 civila.

No, transkripti nekih vojnih dokumenata pokazali su da vojnici koji su upravljali dronovima nisu u svim operacijama djelovali besprijekorno etično, naprotiv.

Analiza jednog napada na konvoj od tri automobila tipa SUV u kojem su u Afganistanu u veljači 2010. ubijeni civili pokazala je da su kontrolori dronova tijekom cijele trosatne operacije manifestirali snažnu želju da ubiju ljude i unište vozila, bez obzira na dokaze da su mete očito civilne. Transkript je pun izjava poput "taj bi kamion bio prekrasna meta"; "oh, slatka meta!"; "čini se da se ljudi kreću taktički"; i "učinit će nešto podlo".

Nije samo po sebi evidentno bi li civilnih žrtava bilo manje ili više da je tim dronovima upravljao AI, a ne ljudi. Tabak kaže da je problem često u samom razlučivanju ciljeva, nastojanju da se iz daljine ocijeni kakve je prirode neko masovno okupljanje, primjerice svadba ili skupljanje boraca.

"No takvi sustavi su ipak neprekidno 'pod kontrolom', pa se može zamjeriti konkretnom pilotu, kao i kod klasičnog aviona, dok je kod AI-a poseban rizik baš 'otimanje svakoj kontroli', ili izostanak prilagodbe konkretne misije promjenama okolnosti“, tumači Tabak.

Što je do sada poduzela međunarodna zajednica?

Međunarodna zajednica poduzela je određene korake u reguliranju razvoja i upotrebe autonomnog ubojitog oružja.

Jedan od najvažnijih bila je uspostava Konvencije o određenim konvencionalnim oružjima (CCW) Ujedinjenih naroda. U okviru CCW-a, države su se dogovorile o nizu protokola koji reguliraju upotrebu različitih vrsta konvencionalnog oružja, uključujući i protokol o razvoju, proizvodnji i upotrebi autonomnih oružja. Taj protokol započet je razgovorima 2014. godine, a pregovori su nastavljeni do danas.

Osim toga, Ujedinjeni narodi su 2018. godine uspostavili "Grupu stručnjaka za autonomno oružje" koja je imala zadatak razmotriti pitanja povezana s autonomnim oružjem. Ona je održavala sastanke i rasprave o utjecaju autonomnog oružja na ljudska prava, međunarodno humanitarno pravo i sigurnost te je razmatrala različite pristupe za reguliranje autonomnog oružja.

Osim toga, nekoliko zemalja usvojilo je nacionalne zakone koji reguliraju upotrebu autonomnog oružja. Na primjer, Norveška, Belgija i Njemačka zabranjuju razvoj i upotrebu autonomnih oružja, dok SAD ima neka ograničenja i smjernice koje se odnose na njihovu upotrebu.

No, unatoč tim naporima, još uvijek postoji mnogo nesuglasica među državama u pogledu reguliranja autonomnih oružja, a proces pregovora u okviru Konvencije o određenim konvencionalnim oružjima još uvijek nije doveo do potpisivanja i ratifikacije sporazuma o njegovom reguliranju.

Budući da do sada nisu postignuti konkretni dogovori, trenutno se traži neka alternativa, po mogućnosti država koja bi vodila pokret za regulaciju autonomnog oružja, koja bi poticala druge države da se uključe i pregovaraju o ugovorima. Jednim od mogućih kandidata smatra se Nizozemska.

Vanessa Vohs, znanstvena asistentica na projektu “International Panel on Regulation of Autonomous Weapons” (iPRAW), kojim upravlja Njemački institut za međunarodne i sigurnosne poslove (SWP), ističe da je vrijeme ključno jer su se s tehnološkim napretkom rizici povećali.

"Zato su nam potrebna nova pravila prije nego što krenemo u apokaliptični scenarij u kojem će nešto stvarno poći po zlu", upozorila je za DW.

Jesmo li pred velikim filtrom?

Ovakav razvoj situacije i upozorenja znanstvenika i mislilaca prizivaju u svijest mogućnost da se čovječanstvo nalazi pred tzv. velikim filtrom, o kojem smo već podrobno pisali na Indexu.

Što je veliki filtar ukratko?

Od 1950-ih do danas mnogi su znanstvenici pokušali objasniti Fermijev paradoks – činjenicu da smo već trebali doći u kontakt s inteligentnim vanzemaljcima ako je razvoj života u povoljnim uvjetima u svemiru uobičajena pojava. Naime, ako se na nekom planetu u našoj galaksiji inteligentan život razvio prije više milijuna godina, što bi bilo za očekivati jer se ne razvijaju sve zvijezde i svi planeti u isto vrijeme, on je imao dovoljno vremena da se raširi među zvijezdama. Stoga je neobično da još uvijek nemamo nikakvih potvrda o njegovom postojanju.

Na tu temu napisano je mnogo knjiga, među kojima je jedna od poznatijih Gdje su izvanzemaljci, koja predstavlja 50 mogućih odgovora.

Kao najuvjerljiviji među njima obično se uzimaju odgovori da su inteligentni izvanzemaljci iznimno rijetka pojava, da je trajanje takvih civilizacija relativno kratko ili da oni iz raznih razloga ne komuniciraju s nama.

Prva dva tumačenja pokriva teza o tzv. velikom filtru. Uzmimo da je ona najvjerojatnija. Prema njoj, na putu razvoja života od nežive materije do tehnološki napredne civilizacije mogu postojati teško premostive stepenice i zapreke, koje sačinjavaju svojevrsne filtre. Neki takvi filtri mogli bi biti iza nas, a neki ispred.

Kao prva teško premostiva stepenica najčešće se spominje relativno mala vjerojatnost za prvi korak koji se naziva abiogeneza - razvoj složenih samoreplicirajućih molekula u prve, jednostavne žive organizme. No stručnjaci smatraju da bi neki veliki filtar koji čini da su tehnološki superrazvijene civilizacije rijetke mogao biti ispred nas (video dolje).

Naime, postoji mogućnost da inteligentna bića, nakon što postanu dominantna na planetu i ovladaju resursima i drugim vrstama, često kreću putem samouništenja. Tehnologija je dvosjekli mač. S jedne strane povećava sigurnost, trajanje i udobnost života, no s druge povećava ugrozu za planet i život, uključujući i samu dominantnu vrstu.

Primjerice, tehnološki napredne civilizacije sposobne su iscrpiti resurse, zagaditi planet i ugroziti njegovu klimatsku stabilnost, a također su sposobne razviti razorna nuklearna i biološka oružja te umjetnu inteligenciju i autonomna oružja. Nameće se pitanje jesmo li mi Zemljani upravo suočeni s takvim velikim filtrom i hoćemo li biti dovoljno mudri da ga izbjegnemo.