Därför har AI:n fel med stor självsäkerhet

Första gången en språkmodell påstår något falskt i en helt lugn, professionell ton är det obehagligt. Ingen reservation, inget tecken, ingenting i skrivsättet som skiljer det från stycket innan, som var korrekt. Att förstå varför det händer är det enskilt mest användbara ett team kan lära sig om den här tekniken och det tar ungefär tio minuter.

Vad modellen faktiskt gör

En språkmodell slår inte upp något. Den producerar nästa textbit som bäst passar det som kom före, utifrån statistiska mönster inlärda från enorma mängder text.

Det är hela mekanismen och den förklarar nästan allt folk tycker är konstigt. Den skriver flytande för att flyt är mönstret. Den låter auktoritativ för att den självsäkra tonen är den som används i det mesta publicerade. Och den producerar ett rimligt svar när den inte vet, för det finns inget i processen som skiljer att veta från att inte veta. Den har ingen inre signal för "det här har jag inte sett".

Flyt och korrekthet är skilda egenskaper. Människor behandlar dem normalt som sammankopplade, för hos människor är de oftast det. Den instinkten är det som behöver läras av.

Var den oftast har fel

Felen är inte slumpmässiga, vilket gör dem hanterbara:

• Detaljer som ser ut som fakta. Datum, siffror, källhänvisningar, paragrafnummer, personnamn. Just de detaljer som läses som mest trovärdiga är de som oftast är påhittade.
• Allt som är nytt. Modellens kunskap slutar vid en tidpunkt. Fråga om något efter den och den svarar utifrån världen som den var, utan att märka det.
• Er organisation. Den har aldrig sett er prislista eller era policyer. Har ni inte lagt fram dem är allt den säger om dem genererat.
• Frågor med en felaktig premiss. Fråga varför något hände så tenderar modellen att förklara det, oavsett om det hände.

Vad som faktiskt hjälper

Ge den källan. Den enskilt största förbättringen. En modell som ska svara utifrån ett dokument ni bifogat gör något den är bra på. En modell som ska minnas ett faktum gör något den aldrig byggdes för.

Be om resonemanget, inte bara svaret. Inte för att förklaringen är ett garanterat fönster in i processen, utan för att ett felaktigt svar med synliga steg är betydligt lättare för en människa att fånga än ett blankt påstående.

Gör "jag vet inte" tillåtet. Modeller dras mot att svara. Instruktioner som uttryckligen tillåter och förväntar sig ett erkännande av osäkerhet minskar påhitten mätbart.

Kontrollera allt som innehåller en siffra. Som stående vana, inte som särskild rutin.

Därför hör det hemma i allmän utbildning, inte bara på IT

De som är mest utsatta för det här är de som använder verktygen utan teknisk bakgrund och de är oftast de som ingen har förklarat mekanismen för. Får de bara höra att det är smart litar de jämnt på allt. Får de höra hur det fungerar utvecklar de goda instinkter snabbt och instinkterna följer med till vilket verktyg företaget än inför härnäst.

Det är ett kort pass, inte en kurs. Det är också den billigaste riskreduceringen som finns att få på hela det här området.

Nästa steg

Används AI redan brett hos er utan att någon har hållit det här samtalet är den luckan värd att täppa till innan verktygen blir ännu kapablare.