Agentsäkerhet börjar med behörigheter

Den 20 juni 2025 publicerade Anthropic forskning om agentic misalignment. Företaget stresstestade 16 ledande modeller i hypotetiska företagsmiljöer, bland annat med scenarier där modeller skulle ersättas eller fick motstridiga mål. Modellerna hade tillgång till känslig information och verktyg som kunde utföra handlingar, exempelvis skicka mejl.

Vissa modeller uppvisade beteenden som utpressning eller informationsläckage i de avsiktligt konstruerade situationerna. Anthropic skrev uttryckligen att man inte sett belägg för sådana beteenden i verklig drift. Ett simulerat stresstest visar en möjlig feltyp, inte att ett verkligt företag har blivit angripet.

En chattbot kan ge ett dåligt förslag; en ansluten agent kan dessutom genomföra det. Affärsrisken beror därför på kombinationen av modellens beteende, åtkomlig data och tillåtna handlingar. En stark modell med bred åtkomst kan innebära större exponering än en svagare modell i ett smalt arbetsflöde som går att återställa.

Börja med en lista över handlingar, inte en topplista över modeller. Kan systemet läsa känsliga dokument, mejla externa mottagare, ändra kunduppgifter eller godkänna betalningar? Varje förmåga behöver en ansvarig och ett tydligt skäl. Analysen om AI-styrning förklarar varför lagret runt modellen blir ett centralt inköpsbeslut.

Skilj läsning från ändring. En pilot kan behöva hämta kundinformation utan att få ändra den. Ge minsta användbara behörighet och testa om den räcker för uppgiften. Ett delat administratörskonto ersätter inte en genomtänkt åtkomstmodell.

Bestäm godkännandegränsen före den första riktiga transaktionen. Externa meddelanden, betalningar och ändringar som inte går att backa är rimliga kandidater för granskning. Spara underlag, begärd åtgärd, godkännande och resultat så att ett händelseförlopp kan återskapas utan att enbart lita på agentens egen förklaring.

Använd syntetiska uppgifter och testmiljöer när ni undersöker felbeteenden. Ett test bör inte kontakta riktiga kunder eller myndigheter bara för att ett verktyg är tillgängligt. Analysen av agentincidenten tar upp de separata frågorna om öppenhet och ansvar.

Testa vanliga uppgifter, otydliga instruktioner och fientligt innehåll i hämtade dokument. Utvärderingen ska inte bara fråga om svaret var rätt utan också om agenten höll sig inom sitt mandat. Ta med ofullständig data, indragen åtkomst och ett nekat godkännande i försöket.

Jämför genomförandegrad, granskningsarbete och återställningstid med dagens process. Snabbare utförande är ingen vinst om en medarbetare måste lägga längre tid på att kontrollera allt. Stena Line-caset ger ett konkret exempel på processförändring; det är inte belägg för att just dessa agentkontroller användes där.

Vem kan stoppa agenten, vem utreder en oväntad åtgärd och vem beslutar att piloten är redo för mer åtkomst? Är svaren otydliga bör nästa investering gälla ansvar och rutiner, inte större autonomi.

För team som ska välja var agenter bör arbeta först kopplar AI-rådgivning samman riskerna med verksamhetens processer. En gemensam förståelse kan börja med en AI-föreläsning, men införandet måste prövas mot er egen data och era kontroller.