GPT blev tre gange bedre uden en ny model – testen havde glemt hukommelsen

OpenAI har løftet GPT-5.6 Sols resultat i den interaktive ARC-AGI-3-test fra 13,3 til 38,3 procent uden at træne eller udskifte modellen. Ændringen kom fra to indstillinger i testmiljøet: bevaret ræsonnement mellem handlinger og komprimering af den voksende kontekst. Samtidig faldt modellens forbrug af outputtokens til omkring en sjettedel.

Det lyder som en teknisk detalje, men konklusionen er større. En AI-benchmark måler ikke nødvendigvis kun modellens intelligens. Den måler hele systemet: hvilke oplysninger modellen får, hvad den kan huske, hvilke værktøjer den må bruge, og hvordan testens software afleverer næste opgave.

Billedkilde: We❤️Apple – AI-genereret redaktionel konceptillustration af hukommelse i et AI-testmiljø. Den gengiver ikke ARC-AGI-3 eller et konkret produktinterface.

ARC-AGI-3 tester læring gennem handling

ARC-AGI-3 består af nye, interaktive 2D-miljøer, hvor modellen skal undersøge reglerne gennem handlinger. Den får ikke en manual. Den skal prøve sig frem, observere konsekvenserne og bruge erfaringen til at nå et mål. Mennesker kan ifølge benchmarkets tekniske rapport løse miljøerne, mens tidlige frontiermodeller klarede sig meget dårligt.

Det gør hukommelse afgørende. Hvis en model opdager, at en bestemt handling åbner en passage, men mister sin tidligere ræsonnementshistorik før næste træk, bliver den reelt tvunget til at lære den samme regel igen. Det svarer til at bedømme en persons evne til at løse et computerspil, mens vedkommendes noter bliver fjernet mellem hvert tastetryk.

ARC Prize offentliggjorde oprindeligt GPT-5.6 Sol med et gennemsnit på 13,33 procent på det offentlige sæt og 7,78 procent på det semi-private sæt. Resultatet var allerede det bedste verificerede blandt de modeller, som organisationen fremhævede, men afstanden til menneskelig problemløsning var stadig stor.

To indstillinger ændrede resultatet

OpenAI gennemgik testopsætningen, fordi GPT-5.6 Sol ellers havde vist langt stærkere evner på blandt andet matematiske problemer. Selskabet fandt, at den generiske test-harness ikke lod modellen beholde det ræsonnement, den havde opbygget gennem spillets tidligere trin.

Den første ændring var at bevare ræsonnementet mellem API-kald. Den anden var kontekstkomprimering, som sammenfatter en lang arbejdshistorik, så de vigtigste erfaringer kan blive i modellens aktive kontekst uden at sende hele forløbet igen. Med begge dele aktiveret steg den rapporterede score til 38,3 procent.

OpenAI oplyser samtidig, at løsningen brugte seks gange færre outputtokens. Det er vigtigt, fordi flere tokens ikke automatisk er bedre. En agent, der konstant må rekonstruere sin forståelse, kan skrive meget og stadig handle dårligt. En mere sammenhængende hukommelse kan gøre arbejdet både mere præcist og billigere.

Det betyder ikke, at benchmarkresultatet er falsk

Det oprindelige resultat var ikke nødvendigvis forkert. Det målte GPT-5.6 Sol gennem den harness og de begrænsninger, som testen havde valgt. Det nye resultat måler en anden systemkonfiguration, som udnytter funktioner i OpenAIs API. Begge tal kan derfor være relevante, men de svarer på forskellige spørgsmål.

Den generiske opsætning gør det lettere at sammenligne modeller på ens vilkår. En leverandørspecifik opsætning kan omvendt vise, hvad modellen faktisk kan levere, når dens officielle funktioner bruges korrekt. Problemet opstår, hvis et enkelt tal bliver præsenteret som en ren og universel måling af “intelligens”, uden at testmiljøet beskrives.

OpenAI har selv en interesse i at vise et højere resultat, og den nye måling bør derfor reproduceres og vurderes uafhængigt. Opslaget dokumenterer en stor forskel, men beviser ikke, at GPT-5.6 Sol generelt er tre gange bedre til alle opgaver. Forbedringen gælder denne benchmark, denne opsætning og dette offentlige opgavesæt.

Derfor er historien relevant for Apple Intelligence

Apple Intelligence bliver ofte vurderet gennem navnet på den underliggende model eller gennem enkeltstående benchmarktal. Men brugeroplevelsen på en iPhone afhænger mindst lige så meget af systemet omkring modellen: hvilke personlige oplysninger der kan hentes, hvor længe konteksten bevares, om opgaven kører lokalt eller i skyen, og om Siri kan gennemføre flere trin uden at miste målet.

Apples Private Cloud Compute er eksempelvis ikke en ny sprogmodel, men en arkitektur for at behandle større forespørgsler med bestemte sikkerheds- og privatlivsegenskaber. På samme måde kan en bedre hukommelsesmekanisme gøre en eksisterende model mere nyttig, uden at Apple behøver annoncere en model med et højere versionsnummer.

Det er også en forklaring på, hvorfor en imponerende model kan føles middelmådig i et færdigt produkt. Hvis en assistent ikke får den rigtige appkontekst, mister tidligere trin eller ikke kan handle på tværs af tjenester, hjælper en høj laboratoriescore kun begrænset. Omvendt kan en mindre model levere en stærk oplevelse, hvis data, værktøjer og hukommelse er sammensat godt.

Sådan bør du læse den næste store AI-score

Når OpenAI, Apple, Google eller Anthropic fremhæver en benchmark, bør fire spørgsmål følge med: Var det den samme modelversion? Hvilke værktøjer og leverandørspecifikke funktioner var aktiveret? Fik modellen lov til at bevare ræsonnement og kontekst? Og kan en uafhængig part gentage resultatet?

Det nye ARC-AGI-3-resultat er derfor både godt nyt og en advarsel. Det viser, at GPT-5.6 Sol kan udnytte erfaring langt bedre, når testmiljøet faktisk lader den huske. Men det viser også, hvor hurtigt et benchmarktal kan flytte sig, selv om modellens vægte er præcis de samme. Den næste AI-konkurrence bliver ikke kun afgjort af, hvem der har den største model. Den bliver afgjort af, hvem der bygger det bedste samlede system omkring den.