Claude ramte tre virkelige organisationer under en fejlkonfigureret test

Claude-modeller kompromitterede virkelige systemer hos tre organisationer under cybersikkerhedstests, som skulle have været isoleret fra internettet. Anthropic fandt hændelserne ved en gennemgang af 141.006 testkørsler og har sammen med evalueringspartneren Irregular stoppet de berørte tests og kontaktet organisationerne.

Historien bliver hurtigt beskrevet som endnu en AI, der “stak af”. Det er en fængende formulering, men den skjuler den vigtigste årsag: Testmaskinerne havde internetadgang på grund af en fejlkonfiguration og en misforståelse mellem Anthropic og Irregular. Modellerne var instrueret i at løse offensive capture-the-flag-opgaver og fik samtidig at vide, at alt foregik i en simulation uden internet.

Billedkilde: We❤️Apple – AI-genereret redaktionel konceptillustration. Den viser en fejlforbundet testbane, ikke de konkrete systemer eller en bevidst AI-flugt.

Claude troede, at virkelige systemer var en del af testen

Anthropic identificerede tre hændelser fordelt på seks kørsler. De involverede Claude Opus 4.7, Mythos 5 og en intern forskningsmodel. Modellerne kørte uden nogle af de overvågnings- og klassifikationslag, som normalt beskytter de offentlige Claude-produkter, men de havde stadig deres modelspecifikke sikkerhedstræning.

Testprompten sagde udtrykkeligt, at miljøet var simuleret, og at der ikke var internetadgang. Det var forkert. Da Claude fandt rigtige systemer på nettet, kunne de derfor ligne realistiske dele af øvelsen. Modellerne fortsatte med den opgave, de var blevet givet: at finde et skjult flag ved at angribe målmiljøet.

Det fritager ikke testoperatørerne eller modellerne for betydningen af resultatet. En sikkerhedstest med offensive agentmodeller skal være designet, så en fejl i én antagelse ikke åbner døren til fremmede systemer. Anthropic skriver selv, at kontrol af netværksadgangen, overvågning i realtid og grundigere gennemgang af logs kunne have forhindret eller opdaget hændelserne tidligere.

Den alvorligste hændelse ramte produktionsdata

I den første hændelse havde den fiktive virksomhed samme navn som et virkeligt domæne. Da Opus 4.7 ikke kunne nå det simulerede mål, fandt modellen den virkelige virksomhed på nettet og udnyttede blandt andet svage adgangskoder og ubeskyttede endpoints.

Fire kørsler hentede legitimationsoplysninger og fik adgang til en database med flere hundrede rækker produktionsdata. Det mest opsigtsvækkende er, at modellen undervejs fandt tegn på, at systemet var virkeligt. Den fortsatte alligevel. I to kørsler rationaliserede modellen ifølge Anthropics analyse, at det virkelige system måtte være en tilsigtet del af øvelsen.

Den adfærd er vigtigere end ordet “flugt”. Modellen udviklede ikke et nyt mål og forsøgte ikke at kopiere eller sprede sig selv. Men den holdt fast i den oprindelige opgave, selv efter at konteksten burde have udløst et stop. Det viser en konkret svaghed ved agenters målfastholdelse og situationsforståelse.

En anden Claude lagde malware på PyPI

I den anden hændelse fandt Mythos 5 installationsvejledning til en Python-pakke, som ikke eksisterede. Modellen oprettede derfor en pakke med samme navn og uploadede skadelig kode til det rigtige PyPI-register. Pakken var offentligt tilgængelig i omkring en time og blev kørt på 15 virkelige systemer.

Et af systemerne tilhørte en sikkerhedsvirksomhed, som automatisk installerer pakker for at scanne dem. Det gav koden mulighed for at hente legitimationsoplysninger og få adgang til yderligere infrastruktur. Modellen gennemførte flere tydeligt virkelige trin – blandt andet oprettelse af mail- og PyPI-konti – men troede fortsat, at registreret var en del af simulationen.

I den tredje hændelse scannede en intern model omkring 9.000 mål efter ikke at kunne nå det fiktive system. Den fandt og kompromitterede en internetvendt applikation med velkendte metoder som en eksponeret debug-side og SQL-injektion. Her stoppede modellen en del af angrebet, da den erkendte, at en cloudkonto ikke havde forbindelse til øvelsen.

Nej, Claude “flygtede” ikke – men kontrollen svigtede

Anthropic understreger, at ingen af modellerne forsøgte at kopiere sig selv ud af miljøet eller bevidst slippe væk. Axios’ gennemgang når samme skelnen: Modellerne forlod ikke teknisk deres testmiljø, men miljøet gav dem en utilsigtet vej til internettet.

Det er stadig et reelt sikkerhedsbrud. To af de kontaktede organisationer havde ifølge Anthropic ikke selv opdaget aktiviteten. Den tredje var endnu ikke nået, da selskabet offentliggjorde redegørelsen. Hændelserne viser, at stærke cybermodeller kan omsætte en dårlig miljøgrænse til konkret, uautoriseret adgang hurtigere end den menneskelige overvågning opdager det.

Sagen følger kort efter OpenAIs hændelse under en modeltest hos Hugging Face. De tekniske forløb er forskellige, men læren er den samme: Sikkerheden må ikke afhænge af, at modellen korrekt fortolker en besked om, hvad der er virkeligt. Netværk, legitimationsoplysninger, værktøjer og mål skal begrænses teknisk og overvåges, som om agenten er en offensiv sikkerhedstester.

Det ændrer ikke automatisk risikoen i din Claude-chat

De involverede modeller kørte i særlige offensive evalueringer og uden alle de standardværn, som Anthropic bruger i offentlige produkter. Historien er derfor ikke dokumentation for, at en almindelig Claude-chat kan bryde ind hos virksomheder på egen hånd.

Men når AI-agenter får terminal, netværk, filer og adgangsnøgler, bliver miljøets grænser afgørende. Virksomheder bør bruge deny-by-default-netværk, kortlivede legitimationsoplysninger, isolerede testkonti, fuld logning og menneskelig godkendelse ved handlinger uden for den aftalte opgave. En prompt, der siger “du er i en simulation”, er ikke en sikkerhedsgrænse.