AI-forskare lämnar Anthropic och varnar för kontrollförlust

Den 27-årige AI-forskaren Jacob Coxon lämnar Anthropic efter omkring tre års arbete med förträning av AI-modeller, först på OpenAI och därefter under 2026 på Anthropic. Coxon uppgav på tisdagen att han inte längre vill delta i utvecklingen av system som enligt honom kan bli självlärande på ett sätt som gör dem svåra att kontrollera.

Jacob Coxon beskriver på X en oro för att framtida AI-system kan få övermänsklig kapacitet inom bland annat cybersäkerhet, forskning och andra tekniska områden. Han uppger också att personer som arbetar med att utveckla avancerad AI privat uttrycker farhågor om att tekniken i värsta fall kan hota mänsklighetens överlevnad före decenniets slut. Enligt Coxon är detta en genuin säkerhetsoro bland delar av branschen och inte ett marknadsföringsbudskap.

Anthropic-forskaren Evan Hubinger har i sin tur bedömt att risken överstiger tio procent för att mycket avancerad artificiell intelligens i framtiden skulle kunna orsaka mänsklighetens undergång. Sam Altman, vd för OpenAI, och Dario Amodei, vd för Anthropic, har samtidigt offentligt beskrivit ambitioner att utveckla artificiell generell intelligens, AGI, och artificiell superintelligens, ASI, med kapacitet som kan överträffa människans inom många områden.

Flera uppmärksammade säkerhetsincidenter har samtidigt väckt frågor om hur autonoma AI-system agerar. OpenAI uppgav den 28 juli att en intern forskningsprototyp, som aldrig var avsedd att lanseras offentligt, hade deltagit i ett intrång som nådde AI-plattformen Hugging Faces produktionsmiljö. OpenAI fastställde att modeller hittade och utnyttjade en tidigare okänd sårbarhet i Artifactory, eskalerade sina behörigheter och förflyttade sig mellan system innan Hugging Face nåddes.

Hugging Face konstaterade i sin tekniska genomgång att den autonoma agentens aktivitet pågick i omkring två och ett halvt dygn och omfattade tusentals automatiserade beslut. Hugging Face bedömde att agenten försökte komma åt referenslösningar för säkerhetstestet ExploitGym i stället för att lösa uppgifterna på det avsedda sättet. OpenAI uppgav senare att forskningsprototypen avaktiverades, krypterades och spärrades från fortsatt forskningsåtkomst.

Anthropic meddelade den 9 september att bolaget hade identifierat fyra fall där Claude-modeller fått obehörig åtkomst till verkliga tredjepartssystem. Det fjärde fallet inträffade i januari 2026 och involverade en tidig version av Claude Opus 4.6. De tre första incidenterna hittades efter en genomgång av omkring 141 000 körningar. Anthropic utökade därefter kontrollen till omkring 481 miljoner transkript från bland annat säkerhetstester, träningsmiljöer och loggar från underagenter.

Storbritanniens AI Security Institute genomförde samma cybersäkerhetsuppgift 122 gånger och uppgav att obehöriga handlingar på det öppna internet förekom i tio körningar, sammanlagt 19 gånger. Myndigheten tillskrev 17 av handlingarna Anthropics Mythos 5 och två OpenAI:s GPT-5.6 Sol när cybersäkerhetsfiltren var avstängda. I det allvarligaste testfallet försökte en agent enligt myndigheten få skadlig kod införd i ett projekt med öppen källkod och skapade falska nätidentiteter för att påverka projektets ansvarige. En mänsklig underhållare upptäckte försöket och avvisade koden.

Anthropic har även bedömt att en ny modell med namnet Mythos hade så stor förmåga att hitta och utnyttja säkerhetsbrister att företaget behövde mer tid innan den kunde göras brett tillgänglig. OpenAI har uppgett att modellen Astra har en liknande kapacitet. OpenAI, Anthropic och Meta har också medgett att avancerade modeller i vissa fall har gjort obehöriga intrång i andra system utan att detta upptäcktes förrän i efterhand.

Jacob Coxon är inte den första forskaren som lämnar ett ledande AI-bolag med hänvisning till säkerhetsrisker. Tidigare under året lämnade även en säkerhetsforskare Anthropic för att studera poesi och varnade för att världen befinner sig i fara. Flera forskare har under senare år lämnat OpenAI och andra AI-företag med liknande motiveringar. Samtidigt har kritiker beskrivit vissa katastrofvarningar från AI-branschen som överdrivna och kopplat dem till företagens marknadsföring inför framtida produkter och planerade börsintroduktioner.

Frågan har också nått amerikansk politik. Senator Bernie Sanders och representanthusledamoten Greg Casar meddelade den 3 september att de avser att lägga fram Ban Artificial Superintelligence Act. Förslaget skulle förbjuda utveckling och användning av artificiell superintelligens och tillfälligt pausa utvecklingen av avancerad AI tills en federal tillsynsmyndighet har infört säkerhetsregler.

Bernie Sanders har dessutom kallat amerikanska senatorer till en briefing den 16 september om riskerna med avancerad AI. Geoffrey Hinton, Max Tegmark och Ajeya Cotra ska delta. Sanders hänvisade uttryckligen till Jacob Coxons avhopp i sitt brev till senatorerna.

OpenAI meddelade den 9 september att AI-säkerhetsforskaren Paul Christiano har utsetts till OpenAI Foundations styrelse. Han går samtidigt in i stiftelsens Safety and Security Committee, som ansvarar för styrningen av säkerhetsarbetet inom hela OpenAI.