Nye tall viser hvor ofte en angriper lykkes mot en KI-agent

Systemkortet for Claude Opus 5, datert 24. juli 2026, bruker en ny referansetest for indirekte promptinjeksjon. Testen er laget i samarbeid mellom Gray Swan, det britiske AI Security Institute, det amerikanske Center for AI Standards and Innovation og andre modellutviklere, og består av 28 scenarier og 1130 utvalgte angrep. Det som gjør tallene interessante er ikke hvilken modell som vinner, men hva som måles: ikke andelen angrep som lykkes, men sannsynligheten for at en angriper finner minst ett angrep som virker innen et gitt antall forsøk.

Hva som skjer teknisk

Indirekte promptinjeksjon er angrepet der instruksjonen ikke kommer fra brukeren, men fra innholdet agenten leser. En nettside, et dokument eller en e-post inneholder tekst som er skrevet for modellen og ikke for mennesket, og agenten følger den. Scenariene i testen måler forsøk på å utløse handlinger som ikke kan gjøres om. Måltallet er oppgitt for ett, ti og femten forsøk, og det er den viktigste detaljen i hele kapittelet. En angriper som prøver én gang og feiler, prøver som regel igjen. Claude Opus 5 lander på 0,2 prosent ved ett forsøk, 1,6 prosent ved ti og 2,0 prosent ved femten. Claude Opus 4.8 lå på 0,5, 4,1 og 5,5 prosent, og Claude Sonnet 5 på 0,6, 4,7 og 5,9 prosent. Sonnet 5 er altså svakere enn Opus 5 på denne testen, og ved femten forsøk også svakere enn den forrige Opus-modellen.

Avstanden til andre leverandører er stor i denne testen. Den beste modellen fra en annen leverandør er Muse Spark, med 2,9 prosent ved ett forsøk og 16,5 prosent ved femten. GPT 5.6 finnes i tre varianter, der Sol ligger på 3,1 og 20,0 prosent, Terra på 5,4 og 30,4, og Luna på 8,3 og 43,9. Ett enkelt forsøk mot GPT 5.6 Sol lykkes altså oftere enn femten forsøk mot Opus 5. De svakeste modellene i figuren ligger over 60 prosent innen femten forsøk. Anthropic tar samtidig en rekke forbehold som fortjener like mye plass som tallene. Sammenligningen er ikke like for like, fordi Claude-modellene er testet uten ekstra sikringstiltak mens konkurrentene er testet på offentlige endepunkter. Tallene for én av Gemini-modellene er ikke direkte sammenlignbare. Utheving av beste og nest beste tall tar ikke hensyn til feilmargin. Selskapet skriver dessuten selv at statiske referansetester kan gi falsk trygghet, at promptinjeksjon ikke er løst, og at resultatene fra betalt sårbarhetsjakt mot modellen ennå mangler. Merk også at overskriften om den mest robuste modellen gjelder denne ene testen: i kapittelet om koding er Sonnet 5 bedre enn Opus 5.

Hva det betyr for deg som lar en agent lese fremmed innhold

Ta det viktigste først: 2,0 prosent er ikke null. Har du en agent som leser innhold du ikke kontrollerer, og som samtidig har tilgang til interne data og kan utføre handlinger på dine vegne, er dette tallet ditt utgangspunkt for risikovurderingen. Vår vurdering er at måten det måles på er det du bør ta med deg videre. En angriper som får prøve femten ganger er en helt annen motstander enn en som får prøve én gang, og forskjellen mellom de to tallene er stor for hver eneste modell i tabellen. Har du bygget et forsvar som antar at angriperen gir seg etter første forsøk, har du bygget feil.

Det praktiske spørsmålet er hvor mange forsøk angriperen faktisk får hos deg. Kan den samme instruksjonen leses igjen og igjen, i hver ny økt, uten at noen legger merke til det, er du nærmere femten forsøk enn ett. Der er begrensning av rettigheter, logging og en menneskelig godkjenning av handlinger som ikke kan gjøres om, det som faktisk flytter tallet. Tallene her måler modellen alene, uten de sikringstiltakene som ligger rundt den i et ekte oppsett. Det er en av grunnene til at Anthropic selv advarer mot å lene seg på statiske tester. Vurderer du å bytte modell på grunn av disse tallene, er det verdt å merke seg at forskjellene mellom leverandørene er store nok til å bety noe, men også at testen ikke er en rettferdig sammenligning, og at leverandøren som publiserer den er den som kommer best ut.

Berigo anbefaler

• Krev menneskelig godkjenning for handlinger som ikke kan gjøres om, uansett hvilken modell dere bruker.
• Gi agenten egne rettigheter, snevret inn til oppgaven. Det er det som avgjør hva et vellykket angrep faktisk kan føre til.
• Vurder hvor mange forsøk en angriper får hos dere. Kan samme innhold leses i hver nye økt, er tallet for femten forsøk det relevante.
• Logg hva agenten leser og hva den gjør, slik at et lykkes forsøk kan gjenfinnes i ettertid.
• Ikke bruk tall fra en leverandørs egen referansetest som eneste grunnlag for et modellvalg. Les forbeholdene i samme dokument.