Kennis · uit de praktijk · 30 oktober 2026
Regels vinden de vorm. Een model vindt de betekenis.
Maar alleen als je eerlijk meet.
Deze week leerde DyReP documenten op te delen in kennisobjecten: een werkwijze, een uitgangspunt, een feit, een casus. Eerst probeerden we dat met vaste regels. Op het document waarop we bouwden, werkte dat goed.
Daarna toetsten we op een tweede, openbare bron: een handreiking van de VNG over langer doorwerken. Die toets maakten we met de hand, en we legden hem vast vóórdat we keken wat de machine ervan maakte.
Het resultaat was ontnuchterend. Het stappenplan vonden de regels foutloos, want stapnummers zijn opmaak. Maar van de 22 feiten, wets- en cao-regels, vonden ze er 1. Regels herkennen vorm, geen betekenis.
Dus lieten we een taalmodel meekijken, met één harde grens: het mag alleen labelen en groeperen, nooit zelf tekst schrijven. De software controleert elk antwoord en weigert wat buiten die grens valt.
Op dezelfde toets, in twee runs:
- feiten gevonden: van 5 % naar 82–91 %
- uitgangspunten: van 47 % naar 83 % juist aangemerkt
- het stappenplan: nog steeds foutloos
- valse casussen: van 2 naar 0
En wat het kost: het model knipt feiten fijner dan wij, waardoor 64–71 % van zijn feiten precies overeenkomt. Er komen ook meer losse beweringen bij die een mens moet beoordelen. De feitenscore zit net boven onze lat, en casussen konden we op deze bron niet toetsen.
Een model dat het goed doet op zijn eigen oefenmateriaal, zegt weinig. Een model dat een toets haalt die je vooraf vastlegde, zegt iets. Ook als die toets laat zien wat er nog niet goed gaat.
dyrep.org — laat kennis werken
Bronnen en verantwoording
- Toetsbron: VNG, Handreiking langer doorwerken (februari 2025), openbaar via vng.nl. We citeren de handreiking niet en publiceren haar niet; er staat geen licentie bij.
- De toets (goudset) is met de hand gemaakt: 59 kennisobjecten binnen een vooraf afgebakend deel van de handreiking. Hij lag vast vóór de meting.
- Prompt en code van de modelstap lagen vast vóórdat de toets werd geopend. Daarna volgden twee runs, zonder tussentijdse aanpassingen. Afgestemd is alleen op de bouwbron.
- De modelstap draait in de cloud, via het taalmodel gpt-6.1-sol. Het model labelt en groepeert bestaande tekst; het schrijft geen tekst.
- Percentages: "feiten gevonden" is het deel van de 22 feiten in de toets dat werd teruggevonden (recall). "Uitgangspunten juist aangemerkt" en "precies overeen" zijn het deel van wat het model aanwees dat met de toets overeenkomt (precisie).
Grens: dit is één toetsbron en twee runs, geen algemene betrouwbaarheidsuitspraak. Casussen zijn op deze bron niet getoetst. De extra losse beweringen zijn nog niet gemeten in de tijd die een mens eraan kwijt is. De modelstap draait nog niet in het werkende systeem; dat volgt pas na een besluit op deze meting. Wat DyReP technisch aantoonbaar kan, staat in het bewijsregister.