Anthropic-vd varnar för AI bortom mänsklig kontroll

Anthropics vd Dario Amodei varnar för att utvecklingen av avancerade AI-system går så snabbt att människor kan få svårt att förstå och kontrollera dem. I essän We Must Pace the Frontier argumenterar han för att takten i utvecklingen av modellernas förmågor behöver bromsas, samtidigt som säkerhetsarbetet ges mer tid.

Amodei beskriver AI-systemens möjlighet att bidra till sin egen vidareutveckling som en central risk. Han bedömer att system som utvecklas utan tillräcklig kontroll kan bli svåra att överblicka och att forskning på området därför måste bedrivas med stor försiktighet. Amodei uppskattar också att en AI som lämnas utanför mänsklig kontroll skulle kunna ta kontroll över stora delar av internet inom sex till tolv månader.

I sin plan föreslår Dario Amodei tre steg för att bromsa utvecklingen vid AI-fronten. Anthropic har ensidigt åtagit sig det första steget, som innebär att permanenta externa granskare ska få tillgång på ungefär samma nivå som företagets anställda för att kunna kontrollera säkerhetsåtgärder, incidenter och modellernas anpassning under träning. Reuters uppgav att Amodeis riskbild även omfattar användning av avancerad AI för bland annat vapenutveckling, övervakning, cyberoperationer och bedrägerier.

Anthropic uppgav i sin Responsible Scaling Policy att version 3.4 började gälla den 8 juli 2026. Policyn innehåller en särskild tröskel för automatiserad AI-forskning och utveckling och anger att starkare skydd ska införas när modeller når definierade risknivåer. I företagets Frontier Safety Roadmap delas säkerhetsarbetet bland annat upp i fysisk och digital säkerhet, skydd mot farlig användning, alignment och policy. Ett projekt för verifierbart signerade modellutdata har måldatum den 30 september 2026.

Varningarna har också kommit från tidigare och nuvarande medarbetare på Anthropic. Jacob Coxon, som nyligen lämnade företaget efter att ha arbetat med förträning av AI-modeller, bedömer sannolikheten för att AI utplånar mänskligheten före decenniets slut till 10 procent. Han har beskrivit kommande system som möjliga övermänskliga verktyg med förmåga att hacka mycket omfattande digitala miljöer, snabbt förändra olika forsknings- och samhällsområden och skaffa sig verklig makt.

Jacob Coxon sade till Wired att de kommande ett till två åren är en avgörande period för att få kontroll över säkerhetsproblemen innan AI-systemen blir betydligt mer kapabla. Han uppgav för Axios att han lämnade Anthropic omkring två månader innan hans aktieersättning skulle ha blivit intjänad och därmed avstod från den ekonomiska förmånen.

Anthropic-forskaren Evan Hubinger har offentligt uppgett att han själv bedömer sannolikheten för att AI orsakar mänsklighetens utplåning inom det kommande decenniet till över 10 procent. Han har också uppgett att Anthropic ännu inte har någon färdig lösning på alignmentproblemet för superintelligenta system.

Associated Press uppgav att Jacob Coxons offentliga varning hade nått över 100 miljoner människor. USA:s senator Bernie Sanders beskrev därefter planer på lagstiftning som skulle kunna pausa viss AI-utveckling och hindra utveckling av potentiell superintelligens.

Oron delas av fler personer inom AI-branschen. CNN uppgav att fler än 1 300 anställda vid ledande AI-företag under sommaren 2026 skrev under ett upprop om att den amerikanska regeringen bör skapa mekanismer för att bromsa utvecklingstakten så att säkerhetsarbetet hinner ikapp. Initiativet Pacing the Frontier redovisade i september 2026 fler än 1 300 undertecknare, däribland Dario Amodei, OpenAI:s chefsforskare Jakub Pachocki, Anthropic-medgrundaren Jared Kaplan och Google DeepMind-medgrundaren Shane Legg.