Kako bi umetna inteligenca lahko povzročila katastrofo – brez Terminatorja in Skyneta
Ko govorimo o nevarnostih umetne inteligence, pogovor zelo hitro zaide v smer Terminatorja, Skyneta in strojev, ki se nekega jutra odločijo, da človeštva ne potrebujejo več.
Dolga leta je bilo precej enostavno takšne scenarije odpraviti kot znanstveno fantastiko.
Danes je to nekoliko težje.
BBC je septembra 2026 poročal o precej presenetljivi izjavi Evana Hubingerja, raziskovalca na področju varnosti oziroma usklajevanja umetne inteligence pri Anthropic. Hubinger je zapisal, da sam ocenjuje verjetnost, da bi AI v naslednjem desetletju lahko povzročil izumrtje človeštva, na več kot deset odstotkov. Obenem je poudaril, da današnji modeli po njegovem mnenju še ne predstavljajo takšne neposredne nevarnosti; skrbijo ga predvsem prihodnji, bistveno sposobnejši sistemi.
Deset odstotkov.
Če bi vam nekdo povedal, da obstaja desetodstotna možnost, da bo letalo, na katerega se nameravate vkrcati, strmoglavilo, verjetno ne bi dolgo razmišljali.
Pri umetni inteligenci pa svet kljub takšnim opozorilom pritiska na plin.
Toda kako bi AI sploh lahko povzročil tako veliko katastrofo?
Verjetno ne tako, kot si jo predstavljamo iz filmov.
AI nas ne potrebuje sovražiti
Najpomembnejša stvar pri tem vprašanju je, da umetna inteligenca za povzročitev velike katastrofe sploh ne potrebuje zavesti, sovraštva ali želje po uničenju ljudi.
Dovolj je nekaj precej bolj banalnega:
napačen cilj, ogromne sposobnosti in preveč pravic.
To sistemski administratorji poznamo že desetletja.
Če procesu, uporabniku ali skripti daš root pravice, moraš biti zelo prepričan, da ve, kaj počne.
Če tega ne ve, imaš problem.
Pri AI je princip popolnoma enak — le da lahko sodoben AI v nekaj sekundah sprejme in izvede toliko odločitev, kot jih človeška ekipa ne bi mogla v več dneh.
In ravno tukaj postane stvar zanimiva.
Predstavljajmo si leto 2030
Recimo, da elektroenergetsko podjetje uporablja AI agente.
To ni posebno divja predpostavka. Podjetja že danes avtomatizirajo nadzor infrastrukture, analizo incidentov, konfiguracije sistemov in odzive na napake.
AI ima dostop do:
- telemetrije,
- nadzornih sistemov,
- konfiguracij,
- dokumentacije,
- ticketing sistema,
- avtomatizacije,
- podatkov drugih operaterjev.
Na začetku AI zgolj svetuje operaterju.
Čez nekaj let pa nekdo ugotovi:
»Zakaj bi človek potrjeval vsako spremembo? AI je pravilno odločil v 99,9 odstotka primerov.«
In tako mu dovolimo izvajanje določenih sprememb samostojno.
Točno tukaj se začne problem.
00:00 – nekaj gre narobe
Nekje v evropskem elektroenergetskem omrežju se pojavi nenavadna kombinacija meritev.
Morda gre za okvaro.
Morda za napačen senzor.
Morda za kibernetski incident.
Morda samo za kombinacijo treh popolnoma običajnih dogodkov.
AI sistem analizira situacijo in ugotovi, da obstaja nevarnost nestabilnosti omrežja.
Odloči se izolirati določen segment.
Odločitev je videti razumna.
In mogoče bi bila celo pravilna, če bi šlo za izoliran sistem.
Toda elektroenergetsko omrežje ni izoliran sistem.
00:05 – problem se preseli drugam
Ko AI izklopi oziroma omeji eno povezavo, se električna energija začne pretakati po drugih poteh.
Te so sedaj bolj obremenjene.
Drugi avtomatski sistemi to zaznajo in začnejo reagirati.
Pomembno je razumeti, da od tega trenutka naprej umetna inteligenca sploh ni več nujno glavni igralec.
V igro vstopi fizika.
Če izpade ena velika povezava, se energija preusmeri na druge.
Če se preobremenijo, jih zaščita izklopi.
Obremenitev se ponovno preseli.
Naslednja povezava odpove.
Temu pravimo kaskadna odpoved.
00:10 – stroji reagirajo hitreje kot ljudje
V nadzornih centrih se pojavijo stotine alarmov.
AI sistemi jih analizirajo.
Nekateri alarmi so posledica začetnega dogodka.
Drugi so posledica ukrepov AI.
Tretji so posledica sprememb, ki so jih naredili drugi avtomatizirani sistemi.
Operaterji morajo sedaj ugotoviti nekaj zelo neprijetnega:
Kaj je vzrok in kaj posledica?
Medtem avtomatizacija še vedno deluje.
Človek razmišlja v sekundah in minutah.
Računalniki reagirajo v milisekundah.
00:20 – prvi blackout
Del omrežja izgubi stabilnost.
Zaščitni sistemi začnejo odklapljati elektrarne in povezave.
To ni napaka.
Točno to morajo narediti, da preprečijo poškodbe opreme.
Toda posledica je, da proizvodnja električne energije še dodatno pade.
Nekaj mest ostane brez elektrike.
Nato regija.
Morda del države.
00:25 – telekomunikacije začnejo čutiti posledice
Večji podatkovni centri imajo UPS sisteme in generatorje.
Veliki telekomunikacijski objekti prav tako.
Vsaka mobilna bazna postaja pa nima zaloge energije za več dni.
Mobilno omrežje začne počasi izgubljati posamezne dele.
Preostale bazne postaje prevzamejo več uporabnikov.
Omrežje postaja preobremenjeno.
Ljudje medtem počnejo nekaj povsem pričakovanega:
vsi vzamejo telefon in začnejo preverjati, kaj se dogaja.
00:30 – internet ne ugasne, začne pa razpadati
Pomembna razlika:
internet nima velikega stikala ON/OFF.
Zasnovan je tako, da lahko preživi izpad posameznih povezav.
Toda če začne hkrati odpovedovati veliko infrastrukture, se pojavijo drugačne težave.
Povezave se preusmerjajo.
Nekatere poti postanejo preobremenjene.
Nekateri podatkovni centri izginejo z omrežja.
Pojavijo se težave z DNS.
Določene storitve niso več dosegljive.
Latenca naraste.
In avtomatizirani sistemi lahko vse to interpretirajo kot nove incidente.
00:35 – začne odpovedovati sodobna družba
Danes je skoraj vse odvisno od elektrike in komunikacij.
Plačilni terminali.
Bankomati.
Bencinske črpalke.
Skladišča.
Logistika.
Bolnišnice.
Prometni sistemi.
Mobilna telefonija.
Internet.
Vodovodni sistemi.
Trgovine.
Veliko teh sistemov ima rezervno napajanje.
Toda rezervno napajanje kupuje čas.
Ne rešuje problema za vedno.
Najbolj nevaren trenutek šele prihaja
Sedaj si predstavljajmo, da AI ne uporablja samo elektroenergetsko podjetje.
AI uporabljajo telekomunikacijski operaterji.
Banke.
Cloud ponudniki.
Logistika.
Državne službe.
Vsak sistem ima svoj cilj.
Telekomunikacijski AI želi zaščititi svoje omrežje.
Energetski AI želi stabilizirati električno omrežje.
Cloud AI želi ohraniti čim več storitev.
Finančni sistemi želijo preprečiti goljufije.
Vsak od njih lahko popolnoma racionalno optimizira svoj majhen del sveta.
Toda lokalno pravilna odločitev ni vedno globalno pravilna odločitev.
To je po mojem eden najbolj zanimivih in hkrati najbolj spregledanih problemov prihodnjih avtonomnih sistemov.
Ni potrebno, da se AI zaroti proti človeštvu.
Dovolj je, da se tisoč inteligentnih sistemov istočasno odloča o svojem koščku infrastrukture.
In potem dodamo še napadalca
Stvar postane bistveno resnejša, če AI nekdo namerno zavede.
Napadalcu prihodnosti morda ne bo treba neposredno nadzorovati tisoč strežnikov.
Dovolj bo, da uspe manipulirati sistem, ki jih nadzoruje namesto njega.
AI bi tako lahko postal multiplikator kibernetskega napada.
Ne zato, ker bi hotel pomagati napadalcu.
Ampak zato, ker bi na podlagi napačnih informacij izvrševal popolnoma legitimne ukaze.
Toda ali lahko tako ugasne vsa Evropa?
Tu je treba malo ustaviti apokaliptične konje.
Verjetno ne.
Evropska infrastruktura ni en sam računalnik.
Ni enega evropskega root gesla.
Elektroenergetska omrežja imajo ogromno zaščit.
Obstaja veliko operaterjev.
Veliko sistemov je ločenih.
Obstajajo nacionalna omrežja, rezervne komunikacijske poti, generatorji, neodvisni sistemi in postopki za ponovno vzpostavitev delovanja.
Popoln in dolgotrajen izpad celotne Evrope bi bil izjemno težko dosegljiv.
Precej bolj realističen je drug scenarij:
velik regionalni blackout, ki sproži težave v telekomunikacijah, te pa povzročijo težave v logistiki, plačilnih sistemih in drugih storitvah.
To bi že samo po sebi povzročilo ogromno gospodarsko škodo.
Za kaj takega ne potrebujemo Skyneta.
Najbolj nevarna beseda je »avtonomno«
AI sam po sebi ni nujno največji problem.
Problem nastane, ko mu začnemo dodajati orodja.
Najprej mu dovolimo brati dokumentacijo.
Potem dostop do API-ja.
Potem SSH.
Potem cloud konzolo.
Potem lahko odpira tickete.
Potem jih lahko rešuje.
Potem lahko spreminja konfiguracije.
In nekega dne ugotovimo, da imamo program, ki lahko:
razmišlja + načrtuje + izvaja spremembe.
Takrat ne govorimo več samo o chatbotu.
Govorimo o administratorju.
In če ima tak administrator root dostop do dovolj velike infrastrukture, postane vprašanje varnosti precej resnejše.
Lekcija stara več desetletij
Ironično je, da rešitev ni posebej futuristična.
Sistemski administratorji jo poznamo že dolgo:
Princip najmanjših privilegijev.
Proces mora imeti samo tiste pravice, ki jih potrebuje.
Nič več.
Enako bi moralo veljati za AI.
Če AI ugotovi:
»Za stabilizacijo sistema predlagam izklop povezave X,«
bi moral človek pri kritičnih operacijah še vedno pritisniti:
Potrdi.
Ne zato, ker je človek vedno pametnejši.
Ampak zato, ker dodamo še eno neodvisno kontrolno točko.
Human-in-the-loop se morda sliši nekoliko zastarelo v svetu, kjer želimo avtomatizirati vse.
Toda pri kritični infrastrukturi je lahko ravno ta majhna zamuda zelo dobra stvar.
Problem prihodnosti ni nujno zloben AI
Ko slišimo izjavo, da obstaja desetodstotna možnost, da bi AI lahko povzročil konec človeštva, si hitro predstavljamo Terminatorja.
Po mojem je veliko bolj zanimiv scenarij tisti, kjer Terminatorja sploh ni.
Ni zavesti.
Ni sovraštva.
Ni robotske vojske.
Obstaja samo neverjetno sposoben sistem, ki dobi napačne informacije, sprejme napačno odločitev in ima dovolj privilegijev, da jo tudi izvede.
Potem naslednji avtomatizirani sistem reagira na posledice prvega.
In tretji reagira na drugega.
Na neki točki ljudje samo še gledajo množico alarmov in poskušajo razumeti, kaj se je pravzaprav zgodilo.
Tisti, ki smo desetletja upravljali strežnike, imamo za to že star izraz.
Cascade failure.
Mogoče bo največja nevarnost umetne inteligence na koncu veliko manj hollywoodska, kot pričakujemo.
In ravno zato precej bolj realna.
Vir in izhodišče: BBC News, 9. september 2026, članek “Anthropic researcher believes more than 10% chance AI ‘could kill all humans’”. Opozorila raziskovalcev so v istem času povzemali tudi drugi mediji; razprava se nanaša predvsem na tveganja prihodnjih superinteligentnih oziroma visoko avtonomnih sistemov, ne na trditev, da današnji modeli predstavljajo neposredno eksistencialno grožnjo.