AI-prototype testen: de checklist voor je eerste versie

Vandaag om 9 uur had ik eindelijk een AI-prototype staan dat niet meteen vastliep. Nou, dat dacht ik. Toen ik het aan een collega gaf, klikte hij drie keer en kwam er een leeg scherm terug. Dat was het moment waarop ik stopte met los testen en een vaste AI-prototype testen checklist ging gebruiken.

Je eigen test zegt weinig. Jij weet wat je prototype hoort te doen, dus je tikt gewoon de juiste vraag in en wacht netjes. Echte gebruikers doen dat niet. Ze proberen iets geks of stoppen halverwege. Daarom is een eerste AI-prototype nog niet af, ook al voelt dat voor jou wel zo.

Waarom je eerste AI-prototype bijna altijd te vroeg ‘af’ voelt

Een AI-prototype reageert anders dan een formulier of dashboard. Je kunt de flow niet helemaal voorspellen, want het model geeft soms een andere uitvoer op dezelfde invoer. Daardoor is zelf testen gevaarlijk: jij accepteert onbewust de gebreken die je al kent.

Ik hanteer één grens: pas als iemand anders zonder hulp bij een bruikbaar antwoord komt, is het prototype op weg. Dat is niet hetzelfde als klaar. Als je twijfelt of je een chat of een formulier moet gebruiken, kijk dan naar AI-chatbot of formulier: wat werkt beter voor feedback?.

De AI-prototype testen checklist voor je eerste versie

Pak je prototype erbij en loop de zeven punten door. Een half uur is vaak genoeg.

Lege invoer en halve zinnen

Verstuur lege input en kijk wat er gebeurt. Veel prototypes gaan dan iets verzinnen of tonen een fout zonder uitleg. Typ daarna een halve zin en stop. Wacht het systeem netjes of dwingt het je om af te maken?

Foutmeldingen en hallucinaties

Elke AI kan dingen verzinnen. Je kunt dat niet uitzetten, maar je kunt wel checken hoe je prototype ermee omgaat. Stel een vraag waarop het antwoord niet in je data staat. Zegt de AI sorry en wijst die naar een bron? Prima. Kletst die vrolijk verder alsof het klopt? Dan is er gewoon werk aan de winkel. Ik schreef eerder over AI-code bugs die blijven terugkomen. Een prototype kan maandag prima draaien en woensdag ineens anders reageren.

Snelheid en wachttijd

Meet hoe lang het duurt voor er iets verschijnt. Gebruikers haken sneller af dan je denkt, zeker op mobiel. Is je AI acht seconden stil? Toon dan een statusregel of een skelet van het antwoord.

Wat de gebruiker ziet als het misgaat

Haal je API-key even weg en kijk wat er gebeurt. Staat er ‘undefined’ of een technische foutcode? Vervang dat door een normale zin, zoals ‘Dit werkte even niet, probeer het nog een keer.’

Controle over de output

Kan de gebruiker het antwoord aanpassen of opnieuw proberen zonder alles opnieuw in te vullen? Dat is het verschil tussen speelgoed en iets waar je echt even mee doorgaat. Zorg daarom voor een duidelijke resetknop.

Randgevallen buiten je happy flow

Kies drie onderwerpen net buiten je prototype. Vraag iets heel specifieks, iets te breeds en iets in een andere taal. Geeft je AI netjes aan dat het buiten de scope valt, of komt er alsnog een vaag antwoord? Een eerlijk ‘dat weet ik niet’ is beter dan een zelfverzekerde fout.

De herstarttest

Sluit het prototype halverwege en open het opnieuw. Zit je weer in dezelfde staat of ben je je input kwijt? Kleine moeite, vaak rommelig in een eerste versie.

Welke testen je kunt uitstellen

Je hoeft de eerste versie niet meteen onder een grote groep te gooien. Automatische tests voor alle randgevallen? Bewaar die voor de tweede iteratie. Een uitgebreide toegankelijkheidstest? Ook prima voor later, maar check wel even of iemand met alleen toetsenbord door de chat kan navigeren. En ga niet meteen je prompts eindeloos afstellen. Als het antwoord goed genoeg is, stop. Volgende week probeert iemand toch iets wat je niet had bedacht.

Veelgestelde vragen

Hoe weet ik of mijn AI-prototype klaar is voor echte gebruikers?

Als ik het aan iemand geef met één zin uitleg, en diegene komt zonder hulp bij een bruikbaar antwoord, mag het naar een kleine groep. Gebruikt diegene daarna zelf de resetknop of stelt een vervolgvraag, dan zit je goed.

Hoeveel testers heb ik nodig voor een eerste AI-prototype?

Drie tot vijf mensen zijn genoeg. Je zoekt geen grote cijfers, je zoekt kapotte flows en verkeerde aannames. Pas als die opgelost zijn, wordt een tweede ronde met meer mensen interessant.

Wat is het verschil tussen technisch testen en gebruikerstesten?

Technisch testen gaat over foutmeldingen, snelheid en data. Gebruikerstesten gaat over wat iemand snapt, verwacht en doet. Bij AI-prototypes lopen die twee door elkaar, want een taalmodel kan technisch prima antwoorden en toch de plank misslaan.

Hoe vaak moet ik mijn AI-prototype opnieuw testen?

Elke keer als je prompts, data of instellingen verandert, en liefst wekelijks even kort. Het gedrag van een taalmodel kan verschuiven. Een kwartiertje met een collega is vaak genoeg.

Wat als mijn AI-prototype regelmatig hallucineert?

Baken vragen sneller af. Vaak hallucineert een model minder als je duidelijke instructies geeft over wat het niet weet. Leg vast wanneer een antwoord niet klopt, zodat je de prompt later kunt aanscherpen. Gaat het te vaak fout, dan is je prototype waarschijnlijk te groot voor deze versie.

Uiteindelijk draait AI-prototype testen om één ding: kom er vroeg achter wat je zelf niet ziet. De gebruiker vindt het toch wel. Beter tijdens een test met drie mensen dan in een volle demo.