Ko govorimo o nevarnostih umetne inteligence, pogovor zelo hitro zaide v smer Terminatorja, Skyneta in strojev, ki se nekega jutra odlo\u010dijo, da \u010dlove\u0161tva ne potrebujejo ve\u010d.<\/p>\n
Dolga leta je bilo precej enostavno tak\u0161ne scenarije odpraviti kot znanstveno fantastiko.<\/p>\n
Danes je to nekoliko te\u017eje.<\/p>\n
BBC je septembra 2026 poro\u010dal o precej presenetljivi izjavi Evana Hubingerja, raziskovalca na podro\u010dju varnosti oziroma usklajevanja umetne inteligence pri Anthropic. Hubinger je zapisal, da sam ocenjuje verjetnost, da bi AI v naslednjem desetletju lahko povzro\u010dil izumrtje \u010dlove\u0161tva, na ve\u010d kot deset odstotkov. Obenem je poudaril, da dana\u0161nji modeli po njegovem mnenju \u0161e ne predstavljajo tak\u0161ne neposredne nevarnosti; skrbijo ga predvsem prihodnji, bistveno sposobnej\u0161i sistemi.<\/p>\n
Deset odstotkov.<\/p>\n
\u010ce bi vam nekdo povedal, da obstaja desetodstotna mo\u017enost, da bo letalo, na katerega se nameravate vkrcati, strmoglavilo, verjetno ne bi dolgo razmi\u0161ljali.<\/p>\n
Pri umetni inteligenci pa svet kljub tak\u0161nim opozorilom pritiska na plin.<\/p>\n
Toda kako bi AI sploh lahko povzro\u010dil tako veliko katastrofo?<\/p>\n
Verjetno ne tako, kot si jo predstavljamo iz filmov.<\/p>\n
Najpomembnej\u0161a stvar pri tem vpra\u0161anju je, da umetna inteligenca za povzro\u010ditev velike katastrofe sploh ne potrebuje zavesti, sovra\u0161tva ali \u017eelje po uni\u010denju ljudi.<\/p>\n
Dovolj je nekaj precej bolj banalnega:<\/p>\n
napa\u010den cilj, ogromne sposobnosti in preve\u010d pravic.<\/strong><\/p>\n To sistemski administratorji poznamo \u017ee desetletja.<\/p>\n \u010ce procesu, uporabniku ali skripti da\u0161 root pravice, mora\u0161 biti zelo prepri\u010dan, da ve, kaj po\u010dne.<\/p>\n \u010ce tega ne ve, ima\u0161 problem.<\/p>\n Pri AI je princip popolnoma enak \u2014 le da lahko sodoben AI v nekaj sekundah sprejme in izvede toliko odlo\u010ditev, kot jih \u010dlove\u0161ka ekipa ne bi mogla v ve\u010d dneh.<\/p>\n In ravno tukaj postane stvar zanimiva.<\/p>\n Recimo, da elektroenergetsko podjetje uporablja AI agente.<\/p>\n To ni posebno divja predpostavka. Podjetja \u017ee danes avtomatizirajo nadzor infrastrukture, analizo incidentov, konfiguracije sistemov in odzive na napake.<\/p>\n AI ima dostop do:<\/p>\n Na za\u010detku AI zgolj svetuje operaterju.<\/p>\n \u010cez nekaj let pa nekdo ugotovi:<\/p>\n \u00bbZakaj bi \u010dlovek potrjeval vsako spremembo? AI je pravilno odlo\u010dil v 99,9 odstotka primerov.\u00ab<\/p>\n In tako mu dovolimo izvajanje dolo\u010denih sprememb samostojno.<\/p>\n To\u010dno tukaj se za\u010dne problem.<\/p>\n Nekje v evropskem elektroenergetskem omre\u017eju se pojavi nenavadna kombinacija meritev.<\/p>\n Morda gre za okvaro.<\/p>\n Morda za napa\u010den senzor.<\/p>\n Morda za kibernetski incident.<\/p>\n Morda samo za kombinacijo treh popolnoma obi\u010dajnih dogodkov.<\/p>\n AI sistem analizira situacijo in ugotovi, da obstaja nevarnost nestabilnosti omre\u017eja.<\/p>\n Odlo\u010di se izolirati dolo\u010den segment.<\/p>\n Odlo\u010ditev je videti razumna.<\/p>\n In mogo\u010de bi bila celo pravilna, \u010de bi \u0161lo za izoliran sistem.<\/p>\n Toda elektroenergetsko omre\u017eje ni izoliran sistem.<\/p>\n Ko AI izklopi oziroma omeji eno povezavo, se elektri\u010dna energija za\u010dne pretakati po drugih poteh.<\/p>\n Te so sedaj bolj obremenjene.<\/p>\n Drugi avtomatski sistemi to zaznajo in za\u010dnejo reagirati.<\/p>\n Pomembno je razumeti, da od tega trenutka naprej umetna inteligenca sploh ni ve\u010d nujno glavni igralec.<\/p>\n V igro vstopi fizika.<\/p>\n \u010ce izpade ena velika povezava, se energija preusmeri na druge.<\/p>\n \u010ce se preobremenijo, jih za\u0161\u010dita izklopi.<\/p>\n Obremenitev se ponovno preseli.<\/p>\n Naslednja povezava odpove.<\/p>\n Temu pravimo kaskadna odpoved.<\/p>\n V nadzornih centrih se pojavijo stotine alarmov.<\/p>\n AI sistemi jih analizirajo.<\/p>\n Nekateri alarmi so posledica za\u010detnega dogodka.<\/p>\n Drugi so posledica ukrepov AI.<\/p>\n Tretji so posledica sprememb, ki so jih naredili drugi avtomatizirani sistemi.<\/p>\n Operaterji morajo sedaj ugotoviti nekaj zelo neprijetnega:<\/p>\n Kaj je vzrok in kaj posledica?<\/p>\n Medtem avtomatizacija \u0161e vedno deluje.<\/p>\n \u010clovek razmi\u0161lja v sekundah in minutah.<\/p>\n Ra\u010dunalniki reagirajo v milisekundah.<\/p>\n Del omre\u017eja izgubi stabilnost.<\/p>\n Za\u0161\u010ditni sistemi za\u010dnejo odklapljati elektrarne in povezave.<\/p>\n To ni napaka.<\/p>\n To\u010dno to morajo narediti, da prepre\u010dijo po\u0161kodbe opreme.<\/p>\n Toda posledica je, da proizvodnja elektri\u010dne energije \u0161e dodatno pade.<\/p>\n Nekaj mest ostane brez elektrike.<\/p>\n Nato regija.<\/p>\n Morda del dr\u017eave.<\/p>\n Ve\u010dji podatkovni centri imajo UPS sisteme in generatorje.<\/p>\n Veliki telekomunikacijski objekti prav tako.<\/p>\n Vsaka mobilna bazna postaja pa nima zaloge energije za ve\u010d dni.<\/p>\n Mobilno omre\u017eje za\u010dne po\u010dasi izgubljati posamezne dele.<\/p>\n Preostale bazne postaje prevzamejo ve\u010d uporabnikov.<\/p>\n Omre\u017eje postaja preobremenjeno.<\/p>\n Ljudje medtem po\u010dnejo nekaj povsem pri\u010dakovanega:<\/p>\n vsi vzamejo telefon in za\u010dnejo preverjati, kaj se dogaja.<\/p>\n Pomembna razlika:<\/p>\n internet nima velikega stikala ON\/OFF.<\/p>\n Zasnovan je tako, da lahko pre\u017eivi izpad posameznih povezav.<\/p>\n Toda \u010de za\u010dne hkrati odpovedovati veliko infrastrukture, se pojavijo druga\u010dne te\u017eave.<\/p>\n Povezave se preusmerjajo.<\/p>\n Nekatere poti postanejo preobremenjene.<\/p>\n Nekateri podatkovni centri izginejo z omre\u017eja.<\/p>\n Pojavijo se te\u017eave z DNS.<\/p>\n Dolo\u010dene storitve niso ve\u010d dosegljive.<\/p>\n Latenca naraste.<\/p>\n In avtomatizirani sistemi lahko vse to interpretirajo kot nove incidente.<\/p>\n Danes je skoraj vse odvisno od elektrike in komunikacij.<\/p>\n Pla\u010dilni terminali.<\/p>\n Bankomati.<\/p>\n Bencinske \u010drpalke.<\/p>\n Skladi\u0161\u010da.<\/p>\n Logistika.<\/p>\n Bolni\u0161nice.<\/p>\n Prometni sistemi.<\/p>\n Mobilna telefonija.<\/p>\n Internet.<\/p>\n Vodovodni sistemi.<\/p>\n Trgovine.<\/p>\n Veliko teh sistemov ima rezervno napajanje.<\/p>\n Toda rezervno napajanje kupuje \u010das.<\/p>\n Ne re\u0161uje problema za vedno.<\/p>\n Sedaj si predstavljajmo, da AI ne uporablja samo elektroenergetsko podjetje.<\/p>\n AI uporabljajo telekomunikacijski operaterji.<\/p>\n Banke.<\/p>\n Cloud ponudniki.<\/p>\n Logistika.<\/p>\n Dr\u017eavne slu\u017ebe.<\/p>\n Vsak sistem ima svoj cilj.<\/p>\n Telekomunikacijski AI \u017eeli za\u0161\u010dititi svoje omre\u017eje.<\/p>\n Energetski AI \u017eeli stabilizirati elektri\u010dno omre\u017eje.<\/p>\n Cloud AI \u017eeli ohraniti \u010dim ve\u010d storitev.<\/p>\n Finan\u010dni sistemi \u017eelijo prepre\u010diti goljufije.<\/p>\n Vsak od njih lahko popolnoma racionalno optimizira svoj majhen del sveta.<\/p>\n Toda lokalno pravilna odlo\u010ditev ni vedno globalno pravilna odlo\u010ditev.<\/p>\n To je po mojem eden najbolj zanimivih in hkrati najbolj spregledanih problemov prihodnjih avtonomnih sistemov.<\/p>\n Ni potrebno, da se AI zaroti proti \u010dlove\u0161tvu.<\/p>\n Dovolj je, da se tiso\u010d inteligentnih sistemov isto\u010dasno odlo\u010da o svojem ko\u0161\u010dku infrastrukture.<\/p>\n Stvar postane bistveno resnej\u0161a, \u010de AI nekdo namerno zavede.<\/p>\n Napadalcu prihodnosti morda ne bo treba neposredno nadzorovati tiso\u010d stre\u017enikov.<\/p>\n Dovolj bo, da uspe manipulirati sistem, ki jih nadzoruje namesto njega.<\/p>\n AI bi tako lahko postal multiplikator kibernetskega napada.<\/p>\n Ne zato, ker bi hotel pomagati napadalcu.<\/p>\n Ampak zato, ker bi na podlagi napa\u010dnih informacij izvr\u0161eval popolnoma legitimne ukaze.<\/p>\n Tu je treba malo ustaviti apokalipti\u010dne konje.<\/p>\n Verjetno ne.<\/p>\n Evropska infrastruktura ni en sam ra\u010dunalnik.<\/p>\n Ni enega evropskega root gesla.<\/p>\n Elektroenergetska omre\u017eja imajo ogromno za\u0161\u010dit.<\/p>\n Obstaja veliko operaterjev.<\/p>\n Veliko sistemov je lo\u010denih.<\/p>\n Obstajajo nacionalna omre\u017eja, rezervne komunikacijske poti, generatorji, neodvisni sistemi in postopki za ponovno vzpostavitev delovanja.<\/p>\n Popoln in dolgotrajen izpad celotne Evrope bi bil izjemno te\u017eko dosegljiv.<\/p>\n Precej bolj realisti\u010den je drug scenarij:<\/p>\n velik regionalni blackout, ki spro\u017ei te\u017eave v telekomunikacijah, te pa povzro\u010dijo te\u017eave v logistiki, pla\u010dilnih sistemih in drugih storitvah.<\/p>\n To bi \u017ee samo po sebi povzro\u010dilo ogromno gospodarsko \u0161kodo.<\/p>\n Za kaj takega ne potrebujemo Skyneta.<\/p>\n AI sam po sebi ni nujno najve\u010dji problem.<\/p>\n Problem nastane, ko mu za\u010dnemo dodajati orodja.<\/p>\n Najprej mu dovolimo brati dokumentacijo.<\/p>\n Potem dostop do API-ja.<\/p>\n Potem SSH.<\/p>\n Potem cloud konzolo.<\/p>\n Potem lahko odpira tickete.<\/p>\n Potem jih lahko re\u0161uje.<\/p>\n Potem lahko spreminja konfiguracije.<\/p>\n In nekega dne ugotovimo, da imamo program, ki lahko:<\/p>\n razmi\u0161lja + na\u010drtuje + izvaja spremembe.<\/strong><\/p>\n Takrat ne govorimo ve\u010d samo o chatbotu.<\/p>\n Govorimo o administratorju.<\/p>\n In \u010de ima tak administrator root dostop do dovolj velike infrastrukture, postane vpra\u0161anje varnosti precej resnej\u0161e.<\/p>\n Ironi\u010dno je, da re\u0161itev ni posebej futuristi\u010dna.<\/p>\n Sistemski administratorji jo poznamo \u017ee dolgo:<\/p>\n Princip najmanj\u0161ih privilegijev.<\/strong><\/p>\n Proces mora imeti samo tiste pravice, ki jih potrebuje.<\/p>\n Ni\u010d ve\u010d.<\/p>\n Enako bi moralo veljati za AI.<\/p>\n \u010ce AI ugotovi:<\/p>\n \u00bbZa stabilizacijo sistema predlagam izklop povezave X,\u00ab<\/p>\n bi moral \u010dlovek pri kriti\u010dnih operacijah \u0161e vedno pritisniti:<\/p>\n Potrdi.<\/strong><\/p>\n Ne zato, ker je \u010dlovek vedno pametnej\u0161i.<\/p>\n Ampak zato, ker dodamo \u0161e eno neodvisno kontrolno to\u010dko.<\/p>\n Human-in-the-loop se morda sli\u0161i nekoliko zastarelo v svetu, kjer \u017eelimo avtomatizirati vse.<\/p>\n Toda pri kriti\u010dni infrastrukturi je lahko ravno ta majhna zamuda zelo dobra stvar.<\/p>\n Ko sli\u0161imo izjavo, da obstaja desetodstotna mo\u017enost, da bi AI lahko povzro\u010dil konec \u010dlove\u0161tva, si hitro predstavljamo Terminatorja.<\/p>\n Po mojem je veliko bolj zanimiv scenarij tisti, kjer Terminatorja sploh ni.<\/p>\n Ni zavesti.<\/p>\n Ni sovra\u0161tva.<\/p>\n Ni robotske vojske.<\/p>\n Obstaja samo neverjetno sposoben sistem, ki dobi napa\u010dne informacije, sprejme napa\u010dno odlo\u010ditev in ima dovolj privilegijev, da jo tudi izvede.<\/p>\n Potem naslednji avtomatizirani sistem reagira na posledice prvega.<\/p>\n In tretji reagira na drugega.<\/p>\n Na neki to\u010dki ljudje samo \u0161e gledajo mno\u017eico alarmov in posku\u0161ajo razumeti, kaj se je pravzaprav zgodilo.<\/p>\n Tisti, ki smo desetletja upravljali stre\u017enike, imamo za to \u017ee star izraz.<\/p>\n Cascade failure.<\/strong><\/p>\n Mogo\u010de bo najve\u010dja nevarnost umetne inteligence na koncu veliko manj hollywoodska, kot pri\u010dakujemo.<\/p>\n In ravno zato precej bolj realna.<\/p>\n Vir in izhodi\u0161\u010de:<\/strong> BBC News, 9. september 2026, \u010dlanek \u201cAnthropic researcher believes more than 10% chance AI ‘could kill all humans’\u201d<\/em>. Opozorila raziskovalcev so v istem \u010dasu povzemali tudi drugi mediji; razprava se nana\u0161a predvsem na tveganja prihodnjih superinteligentnih oziroma visoko avtonomnih sistemov, ne na trditev, da dana\u0161nji modeli predstavljajo neposredno eksistencialno gro\u017enjo.<\/p>\n","protected":false},"excerpt":{"rendered":" Kako bi umetna inteligenca lahko povzro\u010dila katastrofo \u2013 brez Terminatorja in Skyneta Ko govorimo o nevarnostih umetne inteligence, pogovor zelo hitro zaide v smer Terminatorja, Skyneta in strojev, […]<\/p>\n","protected":false},"author":1,"featured_media":578,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[133],"tags":[],"class_list":["post-577","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai"],"_links":{"self":[{"href":"https:\/\/d-mashina.net\/index.php\/wp-json\/wp\/v2\/posts\/577","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/d-mashina.net\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/d-mashina.net\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/d-mashina.net\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/d-mashina.net\/index.php\/wp-json\/wp\/v2\/comments?post=577"}],"version-history":[{"count":1,"href":"https:\/\/d-mashina.net\/index.php\/wp-json\/wp\/v2\/posts\/577\/revisions"}],"predecessor-version":[{"id":579,"href":"https:\/\/d-mashina.net\/index.php\/wp-json\/wp\/v2\/posts\/577\/revisions\/579"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/d-mashina.net\/index.php\/wp-json\/wp\/v2\/media\/578"}],"wp:attachment":[{"href":"https:\/\/d-mashina.net\/index.php\/wp-json\/wp\/v2\/media?parent=577"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/d-mashina.net\/index.php\/wp-json\/wp\/v2\/categories?post=577"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/d-mashina.net\/index.php\/wp-json\/wp\/v2\/tags?post=577"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Predstavljajmo si leto 2030<\/h2>\n
\n
00:00 \u2013 nekaj gre narobe<\/h2>\n
00:05 \u2013 problem se preseli drugam<\/h2>\n
00:10 \u2013 stroji reagirajo hitreje kot ljudje<\/h2>\n
00:20 \u2013 prvi blackout<\/h2>\n
00:25 \u2013 telekomunikacije za\u010dnejo \u010dutiti posledice<\/h2>\n
00:30 \u2013 internet ne ugasne, za\u010dne pa razpadati<\/h2>\n
00:35 \u2013 za\u010dne odpovedovati sodobna dru\u017eba<\/h2>\n
Najbolj nevaren trenutek \u0161ele prihaja<\/h2>\n
In potem dodamo \u0161e napadalca<\/h2>\n
Toda ali lahko tako ugasne vsa Evropa?<\/h2>\n
Najbolj nevarna beseda je \u00bbavtonomno\u00ab<\/h2>\n
Lekcija stara ve\u010d desetletij<\/h2>\n
Problem prihodnosti ni nujno zloben AI<\/h2>\n
\n