Varför AI:n svarar fel: det handlar nästan alltid om kontext

Ett team provar AI på en riktig uppgift, svaret kommer tillbaka fel eller intetsägande och slutsatsen blir att språkmodellen inte är bra nog. Nio gånger av tio var det inget fel på modellen. Den fick bara aldrig se det den behövde se.

Modellen kan bara det den har framför sig

En språkmodell minns ingenting om er verksamhet mellan samtalen. Den känner inte till er prislista, er kundhistorik, era namnkonventioner eller beslutet ni tog på ett möte i mars. Allt den använder för att svara ligger i texten ni ger den just då: frågan, de bifogade dokumenten, instruktionerna och samtalet så här långt. Det paketet är kontexten.

Får kontexten rätt utformning producerar en mellanstor modell arbete ni kan använda. Blir den fel producerar den största tillgängliga modellen något rimligt och oanvändbart, för rimligt är precis vad den är byggd att producera.

Fyra sätt kontexten går fel

För lite. Det vanligaste. Någon skriver "skriv ett svar till den här kunden" utan kundhistoriken, avtalsvillkoren eller tonen företaget använder. Modellen fyller luckorna med gissningar och gissningarna låter säkra.

För mycket. Det motsatta felet och ett växande sådant nu när stora kontextfönster är billiga att fylla. Att slänga in fyrtio dokument och hoppas att modellen hittar de tre relevanta begraver signalen. Uppmärksamheten är ändlig. Material som inte är relevant är inte neutralt, det konkurrerar.

Fel ordning. Modeller väger början och slutet av en lång kontext tyngre än mitten. Ett avgörande villkor som ligger mitt i ett långt underlag behandlas som bakgrund. Lägg instruktionen som betyder något där den faktiskt läses.

Inaktuellt. En sökfunktion som tyst indexerar förra årets prislista producerar förra årets offerter, helt utan varning. Det är felet som är svårast att upptäcka, för ingenting ser trasigt ut.

Vad kontextarbete faktiskt är

Det är arbetet med att bestämma, per uppgift, vad modellen ser. Vilka källor, hur mycket från var, i vilken ordning och hur aktualiteten garanteras. Det är otacksamt och det är där det mesta av värdet ligger.

I praktiken ser det ut så här:

• Namnge källorna. För den här uppgiften får modellen avtalet, kundkortet och policyn. Inte hela filservern.
• Skala ner innan ni skickar. Hämta de relevanta avsnitten i stället för hela dokument. Mindre och skarpare slår större.
• Gör aktualiteten synlig. Har uppgiften ett datum, lägg med datumet så att modellen kan säga att informationen är gammal i stället för att påstå något.
• Testa med riktiga fall. Tio verkliga exempel från förra månaden säger mer än något benchmark. Kör dem, läs svaren, justera vad modellen fick se.

Därför spelar det här större roll än modellvalet

Modellvalet får uppmärksamheten för att det är ett beslut man kan fatta på ett möte. Kontexten är ett beslut man måste fatta en gång per uppgift och det är det som avgör om resultatet går att använda.

Det håller dessutom över tid. Byter ni modell nästa år följer kontextarbetet med. Det gäller inte prompttrick som är trimmade för en viss modells egenheter.

Nästa steg

Har AI provats hos er och tyst lagts ner är det värt att fråga vad modellen faktiskt fick se innan ni drar slutsatsen att den inte klarade uppgiften. Det är oftast ett kort samtal med ett tydligt svar.