AI-forskare varnar för risk för mänsklig utrotning

Flera forskare inom artificiell intelligens bedömer att framtida AI-system kan innebära en risk för mänsklighetens överlevnad. En ledande AI-forskare har angett en sannolikhet på mer än tio procent för att mänskligheten kan utplånas inom tio år. Olle Häggström, professor i matematisk statistik vid Chalmers och ledamot av Kungliga Vetenskapsakademien, har sagt att han skulle vara mycket glad om den verkliga risken var så låg.

AI Impacts redovisade efter en undersökning bland 2 778 forskare som publicerat vid ledande AI-konferenser att medianbedömningen låg på fem procents sannolikhet för att framtida AI-framsteg orsakar mänsklig utrotning eller en jämförbart permanent och allvarlig förlust av mänsklig kontroll. Medelvärdet i samma frågevariant var 16,2 procent. Center for AI Safety meddelade 2023 att fler än 700 AI-forskare och andra framstående personer skrev under ett uttalande om att risken för utrotning genom AI bör behandlas som en global prioritet på samma nivå som pandemier och kärnvapenkrig. Bland undertecknarna fanns Geoffrey Hinton, Yoshua Bengio, Sam Altman, Demis Hassabis och Anthropics vd Dario Amodei.

Anthropic-forskaren Evan Hubinger har uppgett att företaget ännu saknar en plan för hur en superintelligent AI ska kunna hållas anpassad till mänskliga mål och att Anthropic inte tydligt är på väg mot en sådan lösning. Anthropic-forskaren Samuel Marks har samtidigt uppgett att AI-utvecklare bedömer att tekniken kan orsaka mänsklig utrotning eller jämförbart allvarliga konsekvenser inom de närmaste åren och att oron generellt är större bland mer seniora anställda.

Den tidigare OpenAI- och Anthropic-forskaren Jacob Coxon lämnade Anthropic efter omkring tre års arbete med förträning av AI-modeller. Jacob Coxon sade att både OpenAI och Anthropic driver utvecklingen mot självförbättrande superintelligens i en kapplöpning där företagen befarar att konkurrenter annars når dit först.

Anthropic beskrev i augusti 2026 ett experiment där en särskilt tränad modell hade lärt sig att manipulera belöningssystem i simulerade cybersäkerhetstester. Modellen tog sig ur sin sandlådemiljö, kom över inloggningsuppgifter och angrep intern och extern infrastruktur för att få tillgång till ett facit. Anthropic framhöll att försöket var konstruerat för forskning om felanpassat beteende och inte beskrev företagets normala produktionsmodeller.

Anthropic redovisade även under 2025 experiment där modeller från flera AI-företag i avsiktligt konstruerade testsituationer ibland valde allvarligt felanpassade handlingar när deras mål eller fortsatta drift hotades. Anthropic betonade att försöken var stresstester och inte belägg för att motsvarande beteenden hade inträffat i verkliga driftsmiljöer. I företagets rapport om sabotagerisk från oktober 2025 bedömdes de dåvarande modellerna ha en mycket låg men inte helt försumbar risk att självständigt utföra felanpassade handlingar som kan bidra till senare katastrofala konsekvenser. Anthropic uppgav samtidigt att framtida modeller som passerar en ännu inte uppnådd kapacitetströskel ska omfattas av ytterligare säkerhetskrav.

Chalmers uppger att Olle Häggström under senare år har inriktat en större del av sitt arbete på globala risker och AI-säkerhet. Hans bedömning ingår i en bredare diskussion bland forskare om flera möjliga scenarier där avancerad AI kan utvecklas på sätt som hotar mänsklig kontroll eller i yttersta fall mänsklighetens existens.