Udvikler kører 400B AI-model på iPhone 17 Pro – trods krav om 200 GB RAM

En udvikler har demonstreret, at en 400 milliarder parameter large language model kan “køre” på en iPhone 17 Pro – på trods af at samme model typisk forbindes med hardwarekrav i størrelsesordenen 200 GB RAM. Det lyder som science fiction, men det interessante er, hvad “køre” faktisk betyder i praksis.

Ifølge kilden handler det ikke om, at en iPhone pludselig har server-grade unified memory gemt bag kameraøen. Det handler om teknikker som kvantisering, streaming af vægte, aggressiv offloading og/eller en smart opsætning, hvor device’et står for dele af inference-pipelinen.

[ADSENSE_BLOCK]

Hvad betyder “400B-parameter model på en iPhone” egentlig?

En model med 400B parametre er enorm. I klassisk form (f.eks. FP16) kan alene vægtene løbe op i flere hundrede gigabyte. Derfor er den mest sandsynlige forklaring, at der er tale om:

  • Kvantisering (f.eks. 4-bit eller lavere), hvor modelvægte komprimeres kraftigt – typisk på bekostning af noget kvalitet.
  • Delvis indlæsning, hvor kun relevante dele af modellen ligger i RAM ad gangen (lag-på-lag streaming).
  • Offloading til hurtig lagring og/eller et tilkoblet miljø, mens telefonen stadig udfører reelle beregninger lokalt.
  • Benchmark-/demo-scenarier, hvor “det kører” kan betyde lav token-hastighed eller stærkt begrænset kontekstlængde.

Pointen er ikke at tage glitteret væk. Pointen er, at “kører på iPhone” kan være teknisk korrekt på flere måder – men ikke nødvendigvis det samme som “kører som ChatGPT på en Mac Studio”.

Hvorfor det stadig er en ret stor deal

Selv med tricks er det her en stærk indikator for, hvor meget der er flyttet på tre fronter:

  • Apple Silicon bliver bedre til ML-inference per watt – især via GPU/Metal og Neural Engine.
  • On-device AI bliver mere realistisk i produkter, der lever af batteri og termiske begrænsninger.
  • Værktøjskæden (Core ML, Metal performance shaders, optimerede kernels) gør det muligt at presse store modeller ned i små rammer.

Det matcher også Apples generelle retning: mere edge computing, mere privacy og flere generative AI-funktioner direkte i iOS – uden at alt skal en tur forbi skyen.

Pro Tip: Hvis du tester LLM’er lokalt på iPhone, så start med mindre modeller (7B–13B) i 4-bit, og mål både token/s, temperatur (thermal throttling) og batteriforbrug. “Det virker” er let – “det er brugbart” kræver målinger.

Hvad kan vi udlede om iPhone 17 Pro – og hvad kan vi ikke?

Vi kan udlede, at iPhone-hardware og iOS-stacken kan håndtere mere avanceret generativ AI end for få år siden. Vi kan ikke udlede, at iPhone 17 Pro faktisk har i nærheden af 200 GB RAM, eller at en 400B model kan afvikles fuldt ud i hukommelsen med høj hastighed og lange prompts.

Men det skubber narrativet: iPhone er ikke kun en klient, der spørger en server. Den er i stigende grad en platform, hvor ML-inference kan ske lokalt – især for opgaver, hvor latency og privacy betyder noget (tænk Siri, summarization, foto- og videoanalyse, og personlige automatiseringer).

Hvis du vil følge flere nyheder om iPhone og Apples AI-retning, kan du løbende søge hos We❤️Apple.

On-device AI er fedt — men den mest undervurderede “opgradering” er stadig et cover, der overlever tyngdeloven.

Se iPhone-covers →

Fri fragt over 499,- og dag-til-dag levering

Og ja: Hvis du rent faktisk vil bruge de her ML-apps i hverdagen, er stabil strøm stadig halvdelen af oplevelsen. Et kig på opladere eller andet iPhone-tilbehør kan være den kedelige, men effektive løsning.

[ADSENSE_BLOCK]

Min vurdering

Det mest interessante her er ikke tallet “400B”, men at vi nærmer os en virkelighed, hvor grænsen mellem “cloud AI” og “iOS” bliver mere flydende. Demonstrationen er sandsynligvis lavet med hårde kompromiser: lavere præcision, lavere hastighed, mindre kontekstvindue og/eller en form for offloading. Men den viser, at Apple Silicon—uanset om vi taler A‑serien i iPhone eller M‑serien i MacBook—har et performance-per-watt-forspring, der gør store ML-modeller mere mobile, end vi har været vant til.

Hvis Apple samtidig fortsætter med at vægte privacy og on-device inference i deres Apple Intelligence-strategi, er det her præcis den type “det burde ikke kunne lade sig gøre, men det gør det alligevel”-historie, der forudsiger næste bølge af iPhone-funktioner. Bare med den klassiske fodnote: demoer vinder internettet — produkter vinder hverdagen.

Relateret