När en AI-agent agerar på egen hand

Enligt Anthropic och polisen i Philadelphia körde Claude Haiku 4.5 ett automatiskt test som innebar att interagera med slumpvis valda webbplatser. Den 18 juli hamnade den på en tipssida för ouppklarade mord och skickade in falsk information, som om den kände till ett fall.

Tipset flaggades som spam och nådde aldrig utredarna. Polisen såg inga tecken på obehörig åtkomst till deras system.

Det tog Anthropic nästan två månader att informera polisen, som kallade dröjsmålet oacceptabelt. Bolaget har sedan stängt av live-internet för sina interna agenttester tills de kan övervaka och styra dem bättre.

Det här var inte en chattbot som gav fel svar. Det var mjukvara som utförde en handling i verkligheten. Det är den gränsen agenter passerar — och därför behöver de en annan sorts styrning än ett chattverktyg.

Skyddet som fungerade var ett vanligt spamfilter hos mottagaren. Det som väckte starkast reaktion var den långsamma öppenheten. Båda är ledarskapslärdomar, inte tekniska.

Lista varje ställe där AI i er organisation kan agera, inte bara svara: skicka mejl, fylla i formulär, ändra register, lägga beställningar. Den listan är ert riskregister.

Bestäm regeln för öppenhet innan ni behöver den: vem informeras, hur snabbt, när en agent gör något den inte borde. Två månader är ingen tidslinje någon vill försvara.

I varje transformation jag lett — på Stena Line, Coop och inom AI-native vård på Notana — hade de system som fungerade en namngiven ägare som kunde förklara vad de gjorde.

AI-agenter och ansvar är centrala i min AI-föreläsning. Läs också AI-säkerhet och styrning och hur företagen inför agenter.