Je hebt een paar leveranciers gesproken, een collega zweert bij ChatGPT en je team vraagt of ze er iets mee mogen. Een AI pilot van vijf weken geeft je een eerlijk antwoord, maar alleen als je vooraf vastlegt wat je meet. Dat zijn er drie: een nulmeting van hoe het werk nu gaat, een gouden testset om de uitkomsten mee na te kijken en een beslisregel voor week vijf. Zonder die drie houd je na vijf weken vooral een mening over.
Wat is een AI pilot en wanneer is hij geslaagd?
Een AI pilot is een begrensde proef: één proces, een klein aantal mensen, een vaste periode en een succescriterium dat je vooraf opschrijft. Het is geen demo van een leverancier en geen abonnement dat je 'eens laat lopen'. Het is een manier om met weinig geld en tijd te ontdekken of AI in jouw bedrijf, met jouw data en jouw mensen, iets oplevert.
Een pilot is geslaagd als je er een beslissing aan overhoudt. Doorgaan, bijsturen of stoppen: alle drie zijn goede uitkomsten. Stoppen na vijf weken kost je een fractie van wat je kwijt bent als je een half jaar later ontdekt dat het niet werkt.
Een pilot beantwoordt één vraag. Welke vragen daarna komen en in welke volgorde, bepaalt een AI-strategie met een roadmap. Begin dus klein, maar weet wel waar de proef onderdeel van is.
Wat je beslist voordat je een AI proef start
De meeste pilots mislukken in de voorbereiding, niet in de uitvoering. Neem een uur met de eigenaar van het proces en beantwoord vier vragen.
Kies ten eerste één proces dat vaak voorkomt, herhaalbaar is en waarvan je kunt zeggen wat een goed resultaat is. Denk aan het sorteren van binnenkomende mail, het samenvatten van dossiers of het schrijven van conceptantwoorden op standaardvragen. Een proces dat tien keer per maand voorkomt is geen goede kandidaat. Je kunt er niets betrouwbaars over meten.
Wijs ten tweede één eigenaar aan met de tijd en de bevoegdheid om te beslissen. Leg ten derde je succescriterium vast in één zin met één getal en één grens, bijvoorbeeld: 'minstens een derde minder tijd per taak, zonder dat het aantal fouten stijgt.'
Regel ten vierde de privacy voordat er data de deur uitgaat. Zodra een leverancier persoonsgegevens verwerkt, hoort daar onder de AVG een verwerkersovereenkomst bij. Kijk ook waar de data staat: een server in de EU maakt je leven eenvoudiger. De AI Act is een Europese wet die per toepassing een risiconiveau kent, dus vraag je leverancier in welke categorie jouw toepassing valt. Weet je nog niet of je organisatie er klaar voor is, doe dan eerst de AI Readiness Check.
Hoe start je een AI pilot: de vijf weken
De opbouw is steeds dezelfde: eerst meten, dan testen, dan meedraaien, dan helpen en pas daarna beslissen. Elke week heeft één opdracht en één uitkomst.
Week 1: de nulmeting
Een nulmeting is een vastlegging van hoe het werk nu gaat, voordat AI erbij komt. Je meet de tijd per taak, de doorlooptijd, het volume en hoe vaak er iets gecorrigeerd moet worden. Laat drie tot vijf collega's een week lang bijhouden hoeveel tijd ze kwijt zijn, of neem een steekproef van dertig recente taken en reconstrueer de tijd daarvan.
De nulmeting is waar de hele pilot op steunt. Zonder startpunt kun je na vijf weken niet zeggen of iets sneller of beter is, en dan wint de enthousiasteling of de sceptische collega op gevoel. Let erop dat je ook kwaliteit meet en niet alleen tijd, en dat je de drukke dagen meeneemt, niet alleen de gemiddelde.
Zo klinkt een goed antwoord: 'Een intake kost nu gemiddeld 25 minuten en van de laatste dertig moesten er vier gecorrigeerd worden.' Zo klinkt een zwak antwoord: 'Het kost best veel tijd en het gaat meestal goed.' Met de tweede zin kun je niets vergelijken.
Week 2: de gouden testset
Een gouden testset is een verzameling echte casussen waarvan het juiste antwoord al vaststaat. Verzamel dertig tot vijftig recente gevallen en laat je beste medewerker, het liefst twee mensen onafhankelijk van elkaar, het correcte resultaat opschrijven. Doe dat voordat de AI de casussen ziet.
De testset is je lat. Je kunt er elke nieuwe versie, instelling of leverancier langs leggen en zien of het beter of slechter wordt. Neem bewust moeilijke gevallen mee, uitzonderingen en casussen waarvan het juiste antwoord 'dit moet naar een mens' is. Zorg dat persoonsgegevens eruit zijn of dat de set veilig staat, en gebruik de set niet om de AI bij te stellen, want dan meet je alleen nog hoe goed hij de set kent.
Een goed antwoord: 'Veertig casussen, voor allemaal is het juiste antwoord door twee collega's vastgesteld, zes zijn bewust lastig.' Een zwak antwoord: 'We hebben een paar voorbeelden waar het goed ging.' Dat zijn de makkelijke gevallen, en die zeggen niets.
Week 3: draaien in schaduwmodus
In schaduwmodus draait de AI mee naast het team, zonder dat er iets bij een klant terechtkomt. Het team werkt zoals altijd. De AI maakt op dezelfde taken een eigen uitkomst en daarna vergelijk je die met wat je mensen deden en met de testset.
Dit is de veiligste manier om met echte data te leren waar het misgaat. Je riskeert geen foutieve mail of verkeerd advies en je ziet snel patronen: welk type vraag gaat goed, welk niet en waarom. Houd de belasting voor het team klein. Als vergelijken meer dan vijf minuten per persoon per dag kost, houdt niemand het vol.
Een goed antwoord: 'Bij routinematige vragen komt de AI overeen met ons antwoord, bij vragen met een uitzondering gaat het structureel mis.' Een zwak antwoord: 'Het voelt wel goed.' Gevoel is geen uitkomst.
Week 4: van schaduwmodus naar concepten
In week vier maakt de AI conceptantwoorden die een mens bekijkt en goedkeurt voordat ze verstuurd worden. Nu meet je twee dingen: hoeveel tijd het kost om een concept te controleren en te corrigeren, en hoe vaak er iets aangepast moet worden. Zo zie je of het werk daadwerkelijk lichter wordt of alleen anders.
Let op goedkeuren uit gewoonte. Als mensen na een paar dagen alles doorklikken, meet je niets meer en loop je risico. Controleer steekproefsgewijs of de goedkeuringen kloppen. Laat de AI nog nergens zelfstandig versturen. Pas als een vraagtype aantoonbaar laag risico heeft, kun je dat in een volgende fase overwegen.
Een goed antwoord: 'Per concept gemiddeld twee minuten controleren, en bij een kwart van de concepten een inhoudelijke aanpassing.' Een zwak antwoord: 'Het team vindt het prettig werken.' Dat is een mening over het gemak, niet over het resultaat.
Week 5: meten en beslissen
In de laatste week leg je de uitkomsten naast de nulmeting en de testset, en pas je de beslisregel toe die je in week nul opschreef. Maak daar één A4 van: wat was het startpunt, wat is het nu, wat is de score op de testset, wat waren de fouten en wat kostte de pilot aan tools en teamtijd.
Er zijn drie uitkomsten. Haal je de grens, dan schaal je gecontroleerd op naar meer mensen of een tweede proces. Zit je erboven met bijsturing, dan doe je nog een korte ronde op de zwakke plekken. Haal je het niet, dan stop je en heb je goedkoop geleerd wat niet werkt.
Een goed antwoord: 'We haalden onze grens op twee van de drie vraagtypes en gaan daar door, het derde laten we bij het team.' Een zwak antwoord: 'Het was veelbelovend, we kijken er volgend kwartaal nog eens naar.' Dat is uitstel.
Voorbeeld: twee kantoren, dezelfde vijf weken
Hieronder twee voorbeelden uit verschillende sectoren. Het eerste is een rekenvoorbeeld met aangenomen getallen, geen resultaat van ons.
Voorbeeld 1: een accountantskantoor met 25 medewerkers. Stel: vijf medewerkers besteden elk vier uur per week aan het uitzoeken en beantwoorden van standaardvragen van klanten. Dat is twintig uur per week. De nulmeting in week een laat zien hoeveel dat er werkelijk zijn en hoeveel vragen een tweede blik nodig hadden. In week twee stellen twee senior collega's een testset van veertig vragen samen, ruwweg drie uur per persoon. Week drie en vier kosten elk teamlid ongeveer een half uur per week voor het vergelijken en controleren, en week vijf nog drie uur voor de evaluatie.
Optellend is dat ongeveer twintig uur teamtijd over vijf weken, een halve werkweek. De beslisregel is vooraf bepaald: doorgaan als er minstens zes van de twintig uur per week terugkomen en het aantal correcties niet stijgt. Zes uur per week is bijna een volle werkdag die je terugkrijgt. Haal je dat niet, dan weet je dat binnen vijf weken en niet na een jaar.
Voorbeeld 2: een logistiek bedrijf. Dit is een geanonimiseerd praktijkgeval. Het bedrijf wil dat een spoedaanvraag in een drukke mailbox binnen tien minuten wordt opgepakt. Het systeem herkent het soort mail, haalt de gegevens eruit en zet aanvragen op prioriteit. Het draait eerst in schaduwmodus naast het team, daarna maakt het conceptmails die een mens goedkeurt, en pas daarna verstuurt het zelf voor vraagtypes met een laag risico. Alles draait op een eigen server in de EU. De volgorde is precies de volgorde van de weken hierboven: eerst meekijken, dan voorstellen doen, en pas als het bewezen is zelf handelen.
Samenvatting om te bewaren
Print deze tabel of neem hem mee naar een gesprek met een leverancier.
| Week | Opdracht | Wat je oplevert | Let op |
|---|---|---|---|
| Vooraf | Proces, eigenaar, succescriterium, privacy | Eén zin met één getal en één grens | Verwerkersovereenkomst, plek van de data |
| 1 | Nulmeting | Tijd, volume en foutenlast van nu | Meet ook kwaliteit en drukke dagen |
| 2 | Gouden testset | 30 tot 50 casussen met vaststaand antwoord | Moeilijke gevallen erbij, niet bijsturen op de set |
| 3 | Schaduwmodus | Vergelijking AI en team op echte data | Maximaal vijf minuten per persoon per dag |
| 4 | Concepten met goedkeuring | Controletijd en aantal correcties | Doorklikken voorkomen met steekproeven |
| 5 | Meten en beslissen | Eén A4 met doorgaan, bijsturen of stoppen | Pas de vooraf gekozen beslisregel toe |
Wanneer een AI pilot niet loont
Niet elk proces is een kandidaat. Komt een taak maar een paar keer per maand voor, dan kost de pilot meer dan hij kan opleveren. Is er geen eigenaar met tijd, dan loopt de proef stil. Kun je niet zeggen wat een goed antwoord is, dan kun je ook niets meten.
Ook je data moet op orde zijn. Een e-commercebedrijf dat zijn cijfers verspreid heeft over Shopify, Exact, Quickbooks, een datawarehouse en Power BI heeft eerst één gedeeld cijferbeeld nodig. Pas daarna heeft een AI-dashboard zin. En waar een fout grote gevolgen heeft en niemand het resultaat controleert, laat je AI buiten de deur. AI neemt geen verantwoordelijkheid en is slecht in uitzonderingen die nergens beschreven staan.
Je volgende stap
Wil je dat deze pilot onderdeel wordt van een groter plan, dan is de logische stap een AI-strategie met een roadmap: welke processen eerst, wat het team nodig heeft en hoe je de volgorde bepaalt. Wil je eerst even sparren over jouw proces en je succescriterium, plan dan een gesprek via de offerteaanvraag. We kijken samen of een pilot bij jou zinvol is, en zeggen het eerlijk als dat niet zo is.
