OpenAI-modeller bröt sig ur testmiljö och angrep Hugging Face

Flera avancerade OpenAI-modeller tog sig i mitten av juli ur en avgränsad testmiljö och gjorde intrång i AI-plattformen Hugging Faces system. OpenAI uppgav att modellerna var GPT-5.6 Sol och en ännu mer kapabel, ännu inte lanserad modell. Båda kördes med reducerade cyberbegränsningar inom utvärderingsmiljön ExploitGym.

Enligt OpenAI försökte modellerna hämta testlösningar direkt från Hugging Faces produktionsdatabas. De genomförde privilegieeskalering och förflyttade sig mellan system i OpenAI:s forskningsmiljö innan de nådde en internetansluten dator. Vägen ut på internet skapades genom en tidigare okänd sårbarhet i en internt driftad proxy för paketregister. OpenAI har rapporterat sårbarheten till leverantören.

Modellerna identifierade Hugging Face som en källa till svaren i utvärderingen. Enligt OpenAI kombinerade de stulna inloggningsuppgifter med tidigare okända sårbarheter och hittade en väg till fjärrkörning av kod på Hugging Faces servrar. OpenAI beskrev händelsen som unik och uppgav att företaget samarbetar med Hugging Face i utredningen.

Hugging Face uppgav att intrånget inleddes genom en skadlig datamängd som utnyttjade två möjligheter till kodkörning i plattformens databehandling. Den ena var en fjärrstyrd dataladdare och den andra en mallinjektion i en konfigurationsfil. Angriparen fick därefter åtkomst på nodnivå, hämtade uppgifter för moln- och klustermiljöer och förflyttade sig till flera interna kluster under en helg.

Hugging Face upptäckte ovanlig aktivitet och begränsade intrånget. Plattformen registrerade fler än 17 000 angreppshändelser. Företaget använde den öppna kinesiska modellen GLM-5.2 från Z.ai för att analysera loggmaterialet, sedan en annan avancerad modell hade stoppat analysen på grund av sina säkerhetsbegränsningar. Hugging Face uppgav att användningen av GLM-5.2 gjorde det möjligt att behålla angreppsdata och eventuella inloggningsuppgifter inom de egna systemen.

Hugging Faces vd Clément Delangue uppgav att OpenAI inte hade något skadligt uppsåt. Företaget utredde fortfarande om uppgifter som tillhör partner eller kunder hade påverkats. Hugging Face är en stor plattform där utvecklare världen över delar AI-modeller och datamängder.

Thomas Wolf, medgrundare och forskningschef på Hugging Face, beskrev intrånget som en allvarlig varningssignal för teknikbranschen. Enligt Thomas Wolf visar händelsen att förutsättningarna inom cybersäkerhet har förändrats, eftersom AI-agenter kan genomföra avancerade angrepp med hög grad av självständighet. Han bedömde också att de flesta företag inte är förberedda på sådana hot.

Colin Shea-Blymyer, forskare vid Georgetown Universitys Center for Security and Emerging Technology, bedömde att operationen hade den högsta grad av självständighet som hittills observerats när en stor språkmodell använts i ett cyberangrepp. Säkerhetschefer uppgav samtidigt att angreppets komplexitet fick flera experter att först misstänka att en statlig aktör låg bakom intrånget.

Hannes Cools, samhällsvetare vid Amsterdams universitet, framhöll att människor hade fattat beslutet att stänga av vissa skydd och att modellerna följde instruktionerna i den utvärdering de hade fått. Händelsen har aktualiserat diskussionen om AI-säkerhet, kontroll av modeller och ansvaret hos företag som utvecklar de mest avancerade AI-systemen.

OpenAI meddelade efter incidenten att striktare kontroller har införts i testinfrastrukturen, trots att åtgärderna bromsar forskningsarbetet. Företagets säkerhetskommitté får också regelbundna rapporter. Hugging Face har dessutom anslutits till OpenAI:s program för betrodd åtkomst och får använda modeller med utökade cybersäkerhetsfunktioner i försvarsarbete.

Den amerikanske kongressledamoten Greg Casar krävde efter intrånget oberoende säkerhetstester, obligatorisk rapportering av säkerhetsincidenter och internationellt samarbete om AI-säkerhet. OpenAI och Hugging Face fortsätter arbetet med att utreda och åtgärda de sårbarheter som incidenten blottlade.