Varför AI-piloter sällan blir produktion
Kort svar: De flesta AI-piloter stannar inte för att tekniken inte fungerar, utan för att ingen bestämt vad som ska vara uppfyllt för att gå vidare, för att piloten byggdes på utvalda exempel i stället för verkliga data, och för att ingen äger lösningen efteråt. En pilot som ska bli produktion behöver från start: ett mätbart mål, en testlista med verkliga fall, en plan för integrationer och en namngiven ägare.
AI är lätt att demonstrera. På en eftermiddag går det att visa en assistent som svarar på frågor om era dokument. Det är därför många företag har gjort en pilot. Det är också därför många har en pilot som aldrig används. Skillnaden mellan en demo och något som körs varje dag är sällan AI-modellen. Det är allt runt omkring.
Sex vanliga orsaker
1. Det finns inget mål att mäta mot
“Vi ska testa AI” är inget mål. “Utkasten till säkerhetsformulär ska vara godkända utan större ändringar i minst hälften av fallen” är ett mål. Utan ett mål som bestämts i förväg blir beslutet om att gå vidare en känsla, och känslan efter en pilot är oftast “intressant, men inte riktigt klart”.
2. Piloten testades på utvalda exempel
Det är frestande att visa de fall där lösningen fungerar bäst. Men användarna kommer med de svåra fallen: gamla dokument, motstridiga uppgifter, frågor som inte har något bra svar. En pilot som bara testats på bra exempel säger lite om hur den fungerar i vardagen.
3. Underlaget är inte i ordning
I lösningar som svarar utifrån ert eget underlag, ofta kallat RAG, är datakvaliteten den verkliga flaskhalsen. Gamla och motstridiga dokument ger gamla och motstridiga svar. Det går inte att lösa genom att byta AI-modell. Läs mer i AI för anbudsskrivning, där vi beskriver samma problem i praktiken.
4. Integrationerna sköts upp
En pilot kan läsa från en mapp med uppladdade filer. En lösning i produktion måste hämta data där den faktiskt finns, med rätt behörigheter, och lämna resultatet där det ska användas. Det arbetet är ofta större än själva AI-delen, och om det skjuts upp till efter piloten blir steget till produktion större än någon räknat med.
5. Ingen äger lösningen
Under piloten finns ett projekt och en projektledare. När projektet är klart behöver någon ansvara för att lösningen fungerar, att den uppdateras när underlaget ändras och att användarnas synpunkter tas om hand. Utan en sådan ägare stannar lösningen.
6. Användarna var inte med
Om de som ska använda lösningen inte varit med och testat den på sina egna uppgifter, kommer de inte att lita på den. Förtroende byggs genom att användarna ser hur den hanterar deras fall, och att den säger ifrån när underlaget saknas i stället för att gissa.
Pilot och produktion jämfört
| Pilot | Produktion | |
|---|---|---|
| Data | Utvalda exempel, uppladdade filer | Verkliga data från era system |
| Användare | Projektgruppen | De som gör jobbet varje dag |
| Kvalitet | Bedöms i en demo | Mäts mot en testlista |
| Behörigheter | Ofta förenklade | Samma som i era system i dag |
| Övervakning | Ingen | Loggar, fel och kostnad följs upp |
| Ansvar | Projektet | En namngiven ägare i verksamheten |
Bestäm detta innan piloten börjar
- Vilken uppgift ska lösas, och vem gör den i dag?
- Vad ska vara uppfyllt för att gå vidare till produktion? Skriv ned det.
- En testlista med 20 till 30 verkliga fall och kända bra svar.
- Vilka system lösningen måste läsa från och skriva till i produktion.
- Vilka användare som testar, på sina egna uppgifter.
- Vem som äger lösningen när projektet är klart.
- Vad driften får kosta per månad.
- Var data får ligga, och vilka avtal som gäller.
Så ökar ni chansen att den går hela vägen
- Börja smalt. En typ av dokument, en typ av fråga, en grupp användare. Bredda först när det fungerar.
- Bygg för produktion från början, men i liten skala. Riktiga data och riktiga behörigheter, även om det bara är för några få användare.
- Låt människor granska allt i början och samla in deras rättelser. Varje rättelse gör nästa resultat bättre och visar var underlaget behöver städas.
- Mät mot testlistan varje gång något ändras.
- Sätt ett datum då ni bestämmer om ni går vidare, ändrar eller stoppar. Att stoppa en pilot som inte når målet är också ett bra resultat.
I ett system för anbud som vi har byggt skrivs i dag 60 till 70 procent av det återkommande arbetet automatiskt. Det resultatet syntes inte i den första demon. Det kom av att lösningen användes på riktiga anbud, att experterna rättade och att underlaget städades steg för steg.
Funderar ni på om lösningen alls ska byggas, eller om ett färdigt verktyg räcker, läs Bygga eller köpa en AI-lösning?.
Har ni en pilot som stannat, eller en ni vill få rätt från början? På 30 minuter går vi igenom var den står och vad som krävs för produktion. Kostnadsfritt: boka en genomgång.
Vanliga frågor
Vad är skillnaden mellan en AI-pilot och en lösning i produktion?
En pilot visar att något går att göra, ofta på utvalda exempel. En lösning i produktion används varje dag av riktiga användare, på riktiga data, med övervakning, behörigheter och någon som ansvarar för den.
Hur lång ska en AI-pilot vara?
Så kort som möjligt, men tillräckligt lång för att de som ska använda den hinner testa den på verkliga fall. Det viktiga är inte längden utan att ni bestämt i förväg vad som ska vara uppfyllt för att gå vidare.
Hur vet man om en AI-lösning är tillräckligt bra?
Bygg en testlista med verkliga frågor eller fall och kända bra svar innan ni börjar. Då kan ni mäta om lösningen blir bättre, i stället för att bedöma den efter en demo.
Vem ska äga en AI-lösning i produktion?
Den del av verksamheten som använder den, med stöd av någon som kan det tekniska. Utan en tydlig ägare stannar lösningen när projektet är klart.