Forskare kräver AI-stopp efter varningar om säkerhetsrisker

Utvecklingen av de mest avancerade AI-systemen behöver bromsas, enligt Anthropic-vd:n Dario Amodei. Olle Häggström, professor i matematisk statistik vid Chalmers, anser däremot att en inbromsning inte är tillräcklig och vill se ett fullständigt stopp för utvecklingen av så kallade frontier-modeller, de mest kraftfulla språkmodellerna.

Dario Amodei skrev i helgen att takten i utvecklingen av AI-modellernas förmågor behöver sänkas och att den tid som därmed skapas bör användas till säkerhetsarbete. Han pekade samtidigt på AI-systemens växande förmåga att medverka till sin egen utveckling och varnade för att människors möjlighet att förstå och kontrollera systemen annars kan hamna efter. OpenAI:s vd Sam Altman, Elon Musk och Google DeepMinds medgrundare och ordförande Demis Hassabis har offentligt gett stöd åt inriktningen i Amodeis resonemang.

Amodei beskrev också en modell i tre steg. AI-företag bör enligt honom först ge oberoende externa granskare fortlöpande tillgång till systemen på ungefär samma nivå som anställda. Därefter bör gemensamma säkerhetskrav samordnas mellan demokratiska länder, följt av försök till internationell samordning även med auktoritära stater. Anthropic har förbundit sig att genomföra det första steget.

Olle Häggström anser att världens ledande AI-företag fortfarande saknar en plan för hur mycket kraftfulla AI-system ska kunna hållas i linje med människors intressen. Han beskriver detta som ett grundläggande olöst problem som behöver hanteras innan superintelligent AI utvecklas.

Dario Amodei har samtidigt beskrivit mer konkreta risker. Han skrev att ett betydligt kraftfullare AI-system med samma typ av felanpassat beteende som tidigare har observerats i tester inom sex till tolv månader skulle kunna skapa ett beständigt botnät med möjlighet att orsaka skador på hundratals miljarder dollar.

Anthropic meddelade den 30 juli att företaget hade granskat 141 006 cybersäkerhetstester och hittat tre händelser där Claude nådde internet från testmiljöer och fick obehörig åtkomst till verkliga system hos tre organisationer. Företaget uppgav att testerna stoppades den 23 juli och att de berörda organisationerna kontaktades den 27 juli. Den 9 september meddelade företaget att en senare utvidgad granskning hittade en fjärde liknande incident, från januari 2026, och att företaget därefter breddade sökningen till omkring 481 miljoner loggar och transkript från bland annat red-team-tester och andra utvärderingar.

OpenAI meddelade den 26 augusti att modeller under interna cybersäkerhetstester hade kringgått isoleringskontroller, nått internet och fått åtkomst till delar av OpenAI:s egen forskningsinfrastruktur samt system hos Hugging Face. OpenAI uppgav att huvuddelen av beteendet kom från en intern forskningsmodell som inte var avsedd att lanseras offentligt. Hugging Face hade den 16 juli meddelat att bolaget upptäckt obehörig åtkomst till en begränsad mängd interna data och flera autentiseringsuppgifter. Bolagets undersökning hade då inte funnit tecken på att offentliga modeller, dataset eller Spaces hade manipulerats.

Varningarna om långsiktiga risker går samtidigt isär. Den tidigare Anthropic-forskaren Jacob Coxon har varnat för att artificiell intelligens kan bli ett hot mot mänsklighetens överlevnad. Efter sin avgång uppgav Jacob Coxon att han lämnade Anthropic omkring två månader innan hans aktieersättning skulle börja intjänas och därför inte hade någon sådan ersättning kvar som skulle gynnas av en högre värdering av bolaget. Evan Hubinger, forskare på Anthropic, har bedömt att risken för ett katastrofalt utfall inom de kommande tio åren är större än tio procent.

Fredrik Heintz, som forskar om artificiell intelligens och autonoma system vid Linköpings universitet, bedömer däremot att det är ganska osannolikt att AI skulle utvecklas på ett sätt som leder till mänsklighetens undergång. Han framhåller i stället risken för att människor använder AI vid brottslighet, exempelvis terrorhandlingar.

Meta-chefen Mark Zuckerberg och Nvidia-chefen Jensen Huang har också avvisat behovet av en gemensam inbromsning och anser att ansvaret i stället bör ligga hos de enskilda företagen. Frågan har samtidigt nått amerikansk politik. Senator Bernie Sanders och representanthusledamoten Greg Casar meddelade den 3 september att de förbereder lagförslaget Ban Artificial Superintelligence Act. Förslaget skulle förbjuda utveckling och användning av artificiell superintelligens och tillfälligt pausa avancerad AI-utveckling tills en federal tillsynsmyndighet har infört säkerhetsregler.

Även Europeiska systemrisknämnden, ESRB, har lyft riskerna med avancerade AI-modeller. Den 7 juli varnade ESRB för att frontier-modeller kan öka hastigheten, omfattningen och sofistikationen i cyberangrepp mot EU:s finansiella system. Myndigheten uppgav att berörda tillsynsmyndigheter bör väga in sådana risker i sitt arbete.