Från demo till produktion: det som saknas när AI:n ska göra riktigt arbete

Demon går bra. Någon visar hur en språkmodell, tekniken bakom verktyg som ChatGPT, gör något genuint användbart med företagets data. Rummet blir imponerat och ett beslut fattas om att rulla ut det. Ett halvår senare är det fortfarande inte i produktion. Det händer tillräckligt ofta för att vara ett mönster snarare än otur.

Demon var aldrig det svåra

En demo körs en gång, på ett fall någon valt ut, med en människa som tittar på. Produktion körs tusen gånger, på fall ingen förutsåg, utan att någon tittar. Nästan allt som gör det andra svårt är osynligt i det första.

Glappet har ett namn. Harnessen är allt runt modellen: verktygen den når, reglerna den följer, gränserna för vad den får göra, vad som händer när det går fel och hur någon får veta det. Modellen är motorn. Harnessen är resten av bilen.

Vad harnessen måste svara på

Vilka verktyg, på vilken nivå. Varje förmåga en agent har är en förmåga den har även en dålig dag. Läsbehörighet där läsning räcker. Skrivrättigheter avgränsade till de poster uppgiften rör, inte till systemet.

Vad som händer vid fel. System tar timeout och svarar med nonsens. Den intressanta frågan är om modellen försöker igen, eskalerar eller stannar. Lämnas det ospecificerat kommer den att improvisera och improvisation är precis vad ni inte vill ha på felvägen.

Vem som godkänner vad. Vissa åtgärder ska aldrig ske utan en människa: att skicka till kund, att flytta pengar, att radera något. Andra kvävs av godkännanden. Att avgöra vilket som är vilket är ett verksamhetsbeslut, inte ett tekniskt. Det är oftast samtalet ingen har tagit.

Hur ni upptäcker att det gick fel. Inte om det kommer att göra det, det kommer det. Utan om det tredje dåliga svaret uppmärksammas, eller det trehundrade.

Vad det kostar att köra. En demos kostnad är en avrundning. Samma arbetsflöde över en avdelning, varje dag, är en rad i en budget. Värt att veta innan, inte efter.

Därför hoppas det över

För att inget av det syns i det alla är entusiastiska över. Harnessen ger ingen demo. Den är skälet till att demon går att lita på utan tillsyn, vilket är betydligt svårare att visa upp på ett möte.

Det är också ovant arbete. Det ser ut som rördragning och instinkten är att lägga till det sedan. Tillagt sedan betyder oftast att bygga om det som demonstrerades.

En rimlig ordning

Bygg harnessen runt en smal uppgift först och få den uppgiften att verkligen köra. Tråkig, liten, riktig. Reglerna ni upptäcker på vägen är de regler som kommer att gälla för allt därefter och ni kommer att upptäcka flera som ingen förutsåg.

Bredda sedan. En andra uppgift på en befintlig harness är en bråkdel av arbetet med den första, vilket är hela argumentet för att bygga den medvetet i stället för av misstag.

Nästa steg

Har något demonstrerats hos er utan att nå produktion sitter proppen oftast i en av de fem frågorna ovan. Att peka ut vilken är normalt ett kort samtal.