Computer-use-agenter: välj gränssnittet när API:et inte räcker

Anthropic lanserade computer use som offentlig beta den 22 oktober 2024. Claude kunde tolka skärmbilder och föreslå handlingar som att flytta markören, klicka och skriva i en miljö som utvecklaren tillhandahöll. Företaget beskrev uttryckligen funktionen som experimentell, ibland omständlig och felbenägen. 1

Det är en viktig historisk avgränsning. Analysen gör inte demonstrationen från 2024 till ett påstående om dagens tillförlitlighet. Arkitekturförändringen var åtkomst till program genom deras synliga gränssnitt, även när en färdig integration saknades.

Ett API ger ofta tydliga fält och maskinläsbara fel. Skriptad webbläsarautomation kan vara effektiv när sidstruktur och selektorer är stabila. Visuell datoranvändning blir intressant när gränssnitt varierar eller bara skärmbilder är tillgängliga, men kräver tolkning och fler interaktionssteg. Det är tekniska avvägningar, inte en generell rangordning av produkter.

Kartlägg samma arbetsflöde genom alla tre vägar innan valet görs. Företagsagenter behandlar bredare införande. Det lokala beslutet är om visuell flexibilitet uppväger långsammare körning, tillsyn och underhåll i just denna applikation och uppgift.

Körmiljön tar en skärmbild, modellen föreslår en handling och miljön utför den. En ny observation måste bekräfta resultatet. Koordinater bevisar inte att rätt kontroll aktiverades: en dialogruta, ändrad fönsterstorlek eller laddningsfördröjning kan förändra vad som finns på samma plats.

Använd tydliga kontrollpunkter efter navigering och före slutlig inskickning. Kontrollera leverantörsnummer, belopp och mottagare i ett formulär innan processen fortsätter. Dra aldrig slutsatsen att uppgiften är klar bara för att modellen föreslog ett klick. En kvittens från verksamhetssystemet väger tyngre än en bild av en tryckt knapp.

Kör piloter i en isolerad miljö med särskilda testkonton och ett begränsat antal destinationer. En vanlig medarbetares dator kan innehålla orelaterad e-post, filer och inloggade sessioner. Sådana omgivande rättigheter kan kraftigt utöka konsekvensen av ett felklick. Gränssnittet ska inte ärva bred åtkomst bara för att arbetsflödet liknar en människas.

Behandla webbtext som obetrodda uppgifter, inte som mandat att ändra målet. Den bredare godkännandepolicyn hör till agentsäkerhet. Det tekniska kravet här är att körmiljön självständigt kan stoppa exekveringen och ta bort åtkomsten.

Ett benchmarkresultat eller en lyckad inspelning visar inte processens ekonomi. Mät hela ärenden inklusive laddningstider, avbruten autentisering, felaktig fältinmatning och mänskligt övertagande. Räkna tiden för att upptäcka och rätta fel, inte bara agentens aktiva körtid. Många rimliga enskilda steg kan tillsammans ge låg andel korrekt slutförda uppgifter.

Välj om möjligt slutvillkor som kan kontrolleras utanför gränssnittet. Jämför den sparade posten med beställda fält. Koppla driftunderlaget till AI-säkerhet, men följ tillförlitlighet och arbetskostnad separat så att uppfyllda säkerhetskrav inte misstas för bevis på effektivitet.

Ett lämpligt första användningsfall är återställbar förberedelse av data i ett lågriskssystem, där en människa gör den slutliga registreringen. Ta med ändrade layouter och delvisa fel i testmängden. Kräv ett högsta antal handlingar, en tidsgräns och ett tydligt överlämningsunderlag med senast bekräftade tillstånd och kvarstående problem.

Införandebeslutet bör jämföra den visuella vägen med den manuella processen och tillgängliga API-alternativ. Rådgivning kan hjälpa till med jämförelsen. Lärdomen från 2024 är att synliga gränssnitt blev programmerbara på ett nytt sätt, inte att gränssnittsautomation blev underhållsfri.