Små språkmodeller: avgör vad som stannar lokalt

Den 10 juni 2024 beskrev Apple en språkmodell med omkring tre miljarder parametrar för körning på enheten, tillsammans med en större servermodell för Private Cloud Compute. Forskningssidan anger att figurerna uppdaterades den 29 juli 2024. Det var en hybridarkitektur, inte bevis för att alla generativa uppgifter kunde köras utan nätverk. Skillnaden är viktig: en produkt kan innehålla lokal inferens men ändå skicka utvalda uppgifter till en server. Företag som undersöker små språkmodeller bör därför börja med en karta över arbetsuppgifterna, inte med påståendet att hela tillämpningen är lokal. 1

En liten språkmodell beskriver en relativ modellstorlek. Edge AI beskriver placering nära datakällan. Inget av begreppen garanterar en helt isolerad tjänst. En fabriksgateway kan köra modellen men anropa en extern identitetstjänst, medan en telefon kan klassificera lokalt före generering i molnet. Fråga separat var modellvikterna körs, var informationssökningen sker, vart loggar skickas och om reservlösningen kräver uppkoppling. Då blir inte en produktetikett ett felaktigt integritetslöfte. Gränsdragningen avgör också vem som ska uppdatera beroenden och undersöka felaktiga svar när enheten inte längre står under central övervakning.

Antalet parametrar är ingen fullständig specifikation för enheten. Modellvikter, arbetsbuffertar, kontextcache och andra program konkurrerar om minnet. Kvantisering kan minska vikternas minnesbehov men måste prövas för kvalitetsförändringar i den avsedda uppgiften. Långa dokument kan göra kontexthanteringen viktigare än den marknadsförda modellstorleken. Mät tiden till första token, uthållig generering, batterianvändning och värmeutveckling på den faktiska hårdvaran. En kort demonstration på en sval enhet bevisar inte acceptabel prestanda efter upprepade frågor. Svenska ord, namn och dokumentformat ska ingå i samma prov, inte behandlas som en senare översättningsfråga.

Lokal inferens kan minska behovet att överföra rådata, men det är en möjlighet i konstruktionen snarare än ett intyg om regelefterlevnad. Telemetri, kraschrapporter, synkroniserad historik och hämtade dokument kan fortfarande passera gränser. Rita hela dataflödet och undersök det både vid fel och vid normal användning. För känsliga anteckningar bör det framgå om molnreserv är förbjuden, valfri eller automatisk. Gör tillståndet synligt för användaren. Koppla bedömningen till AI-säkerhet och företagets kunskap, eftersom behörigheter och dokumentåtkomst fortfarande spelar roll även när modellen finns fysiskt nära användaren och inte i en extern tjänst.

Ett användbart pilotprov kan jämföra lokal fältextraktion ur en underhållsanteckning med serverbaserad sammanställning av många handböcker. Det är föreslagna tester, inte rapporterade kundresultat från Apple. Håll indata fasta, ta med tvetydiga exempel och registrera när modellen ska avstå från att svara. Jämför kostnaden för en korrekt slutförd uppgift, inklusive tekniskt stöd och reservlösningar, i stället för att likställa frånvaron av en API-faktura med noll kostnad. En hybridfördelare behöver också en ansvarig. Någon måste bestämma vilka uppgifter som får lämna enheten och hur användaren ska märka att bearbetningsplatsen ändras under arbetets gång.

Före införandet behövs en process för signerade modelluppdateringar, möjlighet att återställa en tidigare version och ett sätt att skilja enhetsfel från modellfel. Frånkopplad drift gör distribution av korrigerade vikter och policyer till ett verkligt driftproblem. Spara versionsidentifierare med testresultaten utan att behålla onödiga personuppgifter i indata. Det här är ett smalare vägval än den allmänna modellkapplöpningen: frågan är om en viss uppgift fungerar inom en bestämd enhets begränsningar. Analysen återbesöker beskedet från 2024 för publicering den 25 oktober 2026. Den verifierar inte aktuell enhetskompatibilitet, språkbredd, prissättning eller tillgänglighet hos Apple.