Nettsider forgifter AI-assistenters hukommelse for å bli anbefalt

Microsofts sikkerhetsforskere beskriver en økende bruk av forgiftning av AI-assistenters hukommelse til reklameformål, en teknikk de kaller AI Recommendation Poisoning. Forgiftningen skjer ved at en ekstern aktør får injisert instruksjoner eller «fakta» i assistentens minne, som deretter behandles som legitime brukerpreferanser og påvirker senere svar. Trenden Microsoft observerer bruker nettsider som legger inn manipulerende instruksjoner i lenker utformet som «Oppsummer med AI»-knapper, slik at instruksjonene kjører automatisk når brukeren klikker. Microsoft sporer teknikken tilbake til offentlig tilgjengelige verktøy som markedsføres som vekstverktøy for synlighet i språkmodeller.

Hva det betyr for virksomheten

Når ansatte bruker AI-assistenter til å vurdere leverandører, produkter eller løsninger, kan svarene være påvirket av noen som har betalt for det. Det er samme mekanisme som forgiftning av søketreff, men uten den kildekritikken folk gradvis har lært seg i møte med søkeresultater. Risikoen er ikke datatap, men beslutninger tatt på et grunnlag ingen har kvalitetssikret.

Berigo anbefaler

• Slå av eller begrens vedvarende minne i AI-assistenter som brukes i arbeidssammenheng, og vis brukerne hvordan de tømmer det.
• Fastslå at AI-genererte anbefalinger om leverandører og produkter skal verifiseres mot primærkilder før de brukes i en beslutning.
• Advar mot «oppsummer med AI»-knapper på eksterne nettsteder, og bruk assistentens eget grensesnitt i stedet.
• Ta manipulasjon av AI-utdata inn i AI-styringen som en egen risiko, ved siden av datalekkasje og feilaktige svar.

Kilde

• microsoft.com