Anthropic har annonceret et samarbejde med nonprofitorganisationen METR som led i selskabets plan om at lade uafhængige evaluatorer arbejde inde i virksomheden. Samtidig er der tidlige drøftelser med andre organisationer, blandt andet Hugging Face.
Baggrunden er et løfte fra direktør Dario Amodei sidste måned om at arbejde tættere med tredjeparter, der kan kontrollere, om Anthropic følger sine egne sikkerhedspraksisser. Kort efter udpegede selskabet også Accenture som partner, men uden at forklare præcist, hvor Accenture passer ind i den nye model.
Anthropic beskriver tre adgangsniveauer for evaluatorer. På det højeste niveau får de medarbejderlignende adgang til hardware, kontorplads og værktøjer. METR er placeret i denne gruppe, og seks medarbejdere fra organisationen er allerede onboardet. De skal analysere risikoniveauer, hændelser og praksisser og må offentliggøre deres egne resultater.
Der er også en vigtig uklarhed i historien. Anthropic oplyste efter den første offentliggørelse, at virksomheden havde givet forkerte oplysninger om SecureBios status som evaluator. Den opdaterede version fastslår kun, at SecureBio gennemgår afsnittet om kemiske og biologiske våben i en risikorapport fra august, og at en bredere rolle kan komme senere.
For Apple-brugere er dette mest relevant som et signal om, hvordan AI-selskaber forsøger at dokumentere sikkerhed omkring de modeller, der senere kan ende i apps, tjenester og udviklerværktøjer. Her er der dog stadig huller: Anthropic siger selv, at der endnu ikke findes faste standarder for, hvilken adgang indlejrede evaluatorer bør have, hvordan de skal rapportere, eller hvordan uafhængigt arbejde bør finansieres.
Det skal du holde øje med
We❤️Apple vil især følge, om Anthropic senere navngiver flere partnere, forklarer Accentures rolle og gør adgangsniveauerne mere gennemskuelige. Lige nu er METR den klareste del af ordningen, mens SecureBio og de øvrige mulige samarbejder stadig står åbne.
