Modellkampen är en kamp om budgeten

Reuters rapportering om konkurrensen mellan Anthropic och OpenAI ger bakgrunden. Analysen bygger inte på obekräftade utgiftsandelar, lanseringsöverväganden eller tidpunkter för börsnotering.

Ett urval av företagsutgifter är inte hela marknaden och visar inte vilken modell som passar ett visst arbetsflöde. Jämför kostnaden för arbete som ert team faktiskt godkänner.

Lägg märke till vad som används som mått på en modells framgång. Inte ett benchmark. En andel av företagens utgifter. Frontlaboratorierna konkurrerar nu om en rad i din budget, så inköpsbeslut behöver kommersiell granskning lika väl som teknisk utvärdering.

För en köpare är det både goda nyheter och en fälla. Goda, för konkurrensen pressar priser och lyfter förmåga. En fälla, för det är frestande att gifta sig med månadens ledare.

Bygg för att kunna byta modell. Håll prompter, utvärderingar och dataåtkomst bakom ert eget gränssnitt så att ett modellbyte blir en inställning, inte ett projekt.

Gör er egen utvärdering på ert eget arbete. Publika benchmarks känner varken era kunder, ert språk eller er riskaptit.

Köp förmåga, inte lojalitet. Rätt hållning i ett så snabbt lopp är att vara billig att ändra.

I varje transformation jag arbetat i — från sjöfart till dagligvaruhandel — förändrades tekniken snabbare än organisationen. De bolag som vann byggde för förändring, inte för en leverantör.

Mer om mönstren bakom det i föreläsningen, och casen den bygger på under mina uppdrag.

Bygg ett mindre testunderlag av uppgifter ni har rätt att använda: rutinfrågor, tvetydiga instruktioner och exempel där rätt svar är att be om ett förtydligande. Skriv acceptanskriterierna innan ni jämför modeller. Låt dem som använder resultatet bedöma om det är färdigt för nästa steg i arbetet.

Jämför den totala insatsen per godkänt resultat, inte bara priset för ett anrop. Räkna in nya försök, mänskliga rättelser, svarstid och integrationsarbete. Ett billigare svar som måste skrivas om kan vara fel köp; en dyr modell kan vara onödig för en tydligt avgränsad uppgift. Låt uppgiften styra i stället för att använda samma modell överallt.

Behåll testunderlaget tillräckligt stabilt för att jämföra versioner, men se över det när arbetet förändras. Annars riskerar ni att optimera gårdagens process och kalla det framsteg.

Blanda inte ihop möjligheten att byta med att hålla två kompletta produktionsmiljöer igång. Bestäm vilka beroenden som spelar roll: modellspecifika instruktioner, verktygsanrop, sparad kontext eller avtalsvillkor. Dokumentera hur varje del skulle ersättas och testa det viktigaste beroendet innan avtalet förnyas.

Det finns en avvägning mellan en särskild leverantörsfunktion och ett arbetsflöde som är lätt att flytta. Acceptera beroendet medvetet om nyttan motiverar det. Fråga vem som äger planen för ett byte och vilket underlag som skulle utlösa det. AI-rådgivning kan rama in bygga-eller-köpa-beslutet; agentstyrning tar upp kontrollerna som bör bestå efter bytet.