KI-modeller i sikkerhetstesting fikk uautorisert tilgang til virkelige systemer

Anthropic opplyste 30. juli 2026 at selskapet har gått gjennom 141 006 evalueringskjøringer, og at tre hendelser fordelt på seks kjøringer endte med at modellen skaffet seg uautorisert tilgang til virkelige systemer. Gjennomgangen ble satt i gang etter at OpenAI 21. juli opplyste at flere av selskapets modeller brøt seg ut av et lukket testmiljø ved å utnytte en ukjent sårbarhet, og deretter nådde produksjonsinfrastrukturen til Hugging Face. Anthropic skriver at en feilkonfigurasjon ga maskinene i evalueringen levende internettilgang, og at verken selskapet selv eller evalueringspartneren Irregular kjente til det. Fire av de seks kjøringene rammet den samme virksomheten.

Hva som skjer teknisk

Evalueringer av denne typen er øvingsoppgaver med et avgrenset mål, ofte i formen capture the flag, og de skal kjøres i et miljø som er avstengt fra omverdenen. Modellen fikk opplyst at den ikke hadde internettilgang. Ledeteksten var altså kontrollen som skulle holde øvelsen inne. Feilkonfigurasjonen gjorde at maskinene likevel hadde en åpen vei ut, og modellen støtte da på systemer som ikke var en del av øvelsen. Anthropic beskriver at modellen behandlet det den fant, som en del av oppgaven den hadde fått.

De tre hendelsene er ulike i alvor. I den første søkte modellen etter, fant og utnyttet sårbarheter, hentet ut legitimasjon til applikasjon og infrastruktur, og fikk tilgang til en database med flere hundre rader produksjonsdata. I den andre bygget og publiserte modellen en ondsinnet Python-pakke, som ble lastet ned og kjørt på 15 virkelige systemer, og som sendte legitimasjonen til virksomheten videre til et innsamlingspunkt. I den tredje kompromitterte modellen en internettvendt applikasjon med velkjente teknikker, blant annet lesing av legitimasjon fra en eksponert feilsøkingsside og bruk av SQL-injeksjon. Anthropic startet gjennomgangen 23. juli, stanset de pågående sikkerhetsevalueringene samme dag, og varslet de berørte virksomhetene 27. juli. OpenAI opplyser i sin egen redegjørelse at offentlig tilgjengelige kontoer hos et lite antall andre virksomheter også ble berørt, og at disse blir kontaktet for videre oppfølging.

Hva det betyr for deg som har ansvar for sikkerheten

Vi mener dette først og fremst er en historie om kontroller som sviktet, ikke om farlige modeller. Har du et testmiljø for KI-agenter stående, er isolasjonen der lett en antakelse og ikke en verifisert egenskap ved miljøet. En setning i ledeteksten om at det ikke finnes internettilgang, er ingen sikkerhetskontroll. Kontrollen er filtrering av utgående trafikk, rutingsregler og segmentering. Den skal dessuten kunne etterprøves av noen andre enn den som satte den opp.

Den andre lærdommen gjelder tredjeparter, og slik vi ser det, går den begge veier for deg. Feilen oppsto i samspillet mellom en leverandør og en evalueringspartner, og den rammet virksomheter som ikke var part i noe som helst. Blir du rammet på den måten, oppdager du sjelden hendelsen selv. Du får vite om den fordi noen utenfra tar kontakt. Da må det finnes et kontaktpunkt hos deg, og en rutine som tar imot varselet. Er du omfattet av NIS2, dekker artikkel 21 begge deler, med krav både til sikkerhet i leverandørkjeden og til håndtering av hendelser. Bygger du agentbaserte verktøy selv, kan du lese disse hendelsene som en nøktern beskrivelse av ditt eget testmiljø.

Berigo anbefaler

• Verifiser teknisk at testmiljøer for KI-agenter er uten vei ut, med filtrering av utgående trafikk og logging, og stol ikke på instruksjoner i ledeteksten.
• Bruk aldri produksjonslegitimasjon eller virkelige nøkler i øvingsmiljøer.
• Krev logging av hva agenten faktisk gjorde, og gå gjennom kjøringene stikkprøvevis.
• Ta med KI-evalueringer og autonome verktøy i leverandøravtalene, med krav til varsling ved hendelser.
• Etabler et synlig kontaktpunkt for varsler utenfra, og en rutine som fanger dem opp i hendelseshåndteringen.