Beslissingsmodellen (2): wat snelheid verandert

In het eerste deel van dit artikel hebben we Jev voorgesteld, het model van TypeSafe AI dat geen zin kan schrijven, en SemIf, de open variant die dezelfde capaciteit afleest in een model met vier miljard parameters. Een beslissingsmodel krijgt een situatie en een lijst met opties, en geeft een waarschijnlijkheid per optie terug, in één enkele doorgang, in ongeveer honderd milliseconden. De categorieën liggen niet langer vast in het model; ze staan geschreven in het programma.

Tot hiertoe zou men Jev of SemIf kunnen beschouwen als soepelere classificatoren. Dat zou echter voorbijgaan aan het essentiële. Wanneer het antwoord van meerdere seconden naar enkele honderden milliseconden gaat, veranderen de toepassingen van aard. Dit tweede deel bekijkt wat deze snelheid mogelijk maakt, en waar ze niet van ontslaat.

Wat snelheid verandert

TypeSafe toont dit met het spel Doom. Het model ontvangt voortdurend een gestructureerde beschrijving van de spelstatus, posities van vijanden, afstanden, hoeken, en kiest een actie. De demonstratie draait op een tiental beslissingen per seconde voor ongeveer zeven dollar rekenkracht per uur. Er moet worden gepreciseerd, zoals verschillende commentatoren deden, dat het model coördinaten leest en geen beelden: het beschikt over informatie die een menselijke speler niet heeft. De demonstratie illustreert niettemin wat een snelle lus mogelijk maakt.

Op de financiële markten kan een motor van dit type voortdurend een blootstelling of een geheel van posities herevalueren; op het niveau van de seconde, de minuut of het uur, waar de strategieën zich bevinden die wij automatiseren, tellen honderd milliseconden niet meer mee. In robotica of ondersteund rijden is meer voorzichtigheid geboden: de besturingslussen op laag niveau zullen niet worden toevertrouwd aan een model dat bij benadering beslist waar het stuur naartoe moet. Maar een tactische laag, die kiest tussen vertragen, in de rijstrook blijven of afzien van een manoeuvre, kan hier wel mee overweg, op voorwaarde dat een deterministische controller vervolgens exact beslist hoe de keuze wordt uitgevoerd.

Een snelle beslissing maakt het vooral mogelijk er meerdere te vergelijken

Hier wordt de schaalverandering interessant. Wanneer elke evaluatie tien seconden kost, stelt men het model een vraag en aanvaardt men zijn antwoord. Wanneer ze honderd milliseconden kost, kan men het zich veroorloven meerdere hypothesen te testen voordat men handelt.

Stel dat er drie mogelijke acties zijn, beoordeeld door het model. Als men over een simulator beschikt die kan inschatten wat elke actie oplevert, kan men op zijn beurt de situaties beoordelen die eruit voortvloeien:

Men vraagt niet langer alleen wat nu de beste beslissing is. Men vraagt wat er gebeurt als men deze beslissing neemt, en dan die andere. Dit is het principe dat we, onder verschillende namen, terugvinden in planning, modelvoorspellende regeling en de boomzoektocht die spelprogramma’s gebruiken.

Er blijft een beperking bestaan. Een beslissingsmodel vergelijkt inderdaad de opties die men het geeft, maar het verzint er geen. Als wij A, B, C en D voorstellen, zal het zeggen dat B te verkiezen is; het zal niet spontaan een oplossing E voorstellen die beter is dan de vier andere. Vandaar een koppel dat zich aftekent in verschillende recente werken: een generatief model, traag, stelt kandidaten voor, en een beslissingsmodel, snel, beoordeelt ze en behoudt alleen de beste, die men vervolgens laat variëren.

De trage generatie wordt niet langer bij elke stap aangeroepen; ze dient om te verkennen. Onderzoek naar antwoordverificateurs zegt het in vergelijkbare termen: een rechter die zijn redenering uitschrijft, is een knelpunt zodra er veel kandidaten moeten worden beoordeeld, en een snelle beoordelaar neemt overal waar mogelijk zijn plaats in. De generator kan trouwens iets anders zijn dan een taalmodel: een evolutionair algoritme, een fysieke simulatie, een motor met bedrijfsregels of eenvoudige geprogrammeerde variaties.

Een lus die meerdere oplossingen probeert en de beste behoudt, doet aan optimalisatie, nog niet aan reinforcement learning. Om van leren te spreken, moet men na de actie een beloning waarnemen en die gebruiken om toekomstige beslissingen te verbeteren. De snelheid van een beslissingsmodel levert deze stap niet; ze maakt hem wel haalbaar, omdat een beleid dat men tien keer per seconde kan raadplegen, ook tien keer per seconde kan worden geëvalueerd.

Het kleine model komt terug in het spel

Er is nog een ander, directer gevolg voor de automatisering van een bedrijfsproces. Bij de start beschikt het bedrijf over geen enkele bruikbare dataset, en een generalistisch beslissingsmodel is vanaf de eerste dag bruikbaar. Elke uitvoering kan vervolgens worden bewaard: de beginsituatie, de voorgestelde beslissing, het betrouwbaarheidsniveau, de eventuele correctie door een persoon, en het waargenomen resultaat.

Na enkele maanden beschikt men over iets waardevollers dan een generalistisch model: gegevens die specifiek zijn voor het eigen proces. Men kan dan een gespecialiseerd, piepklein model trainen dat de terugkerende gevallen afhandelt die het zeer goed kent, en het generalistische model de zeldzame gevallen, de nieuwe categorieën en alles wat op niets eerder geziens lijkt, laten afhandelen. De literatuur over modelcascades, geopend door FrugalGPT in 2023, meet wat deze organisatie oplevert: de precisie van het beste model voor een fractie van zijn kostprijs, omdat de meerderheid van de gevallen het nooit nodig heeft.

Twee voorzorgsmaatregelen maken deze organisatie levensvatbaar. De eerste betreft de drempels. Een door het model teruggegeven vertrouwen van 0,8 is enkel zoveel waard als de meting aangeeft; men moet een steekproef van beslissingen herbekijken, tellen hoe vaak het model zich vergist bij elk betrouwbaarheidsniveau, en de drempel voor doorverwijzing naar een persoon vaststellen op basis van die telling, niet op basis van het ruwe cijfer. Dit is precies wat noch TypeSafe, noch SemIf voor u doet. De tweede betreft de plaats van de menselijke validatie. Ze verdwijnt niet: ze concentreert zich op de beslissingen met belangrijke gevolgen en op die welke het model zelf als onzeker aanduidt. De beslissing blijft die van de verantwoordelijke voor het proces; wat verandert, is dat hij niet langer de honderden voor de hand liggende gevallen moet nalezen om de tien te vinden die zijn aandacht verdienen.

En soms blijft een eenvoudige regel de beste keuze

Bij al deze verfijning kan men iets vanzelfsprekends vergeten: sommige beslissingen hebben helemaal geen model nodig. Neem een bedrijf waar elke factuur van meer dan 10.000 euro door een tweede persoon moet worden goedgekeurd. Eén regel programmacode volstaat: die vergelijkt het bedrag met de drempel en stuurt de factuur door voor een tweede validatie. Deze regel is sneller, betrouwbaarder en goedkoper dan een model aan het proces toevoegen. Men kan ze lezen en begrijpen, en ze geeft voor dezelfde factuur altijd hetzelfde antwoord, terwijl een model bij elke iteratie anders kan antwoorden.

Ze gebruikt voor elk onderdeel van het probleem het eenvoudigste mechanisme dat het correct kan oplossen, en gaat pas een niveau hoger wanneer het vorige niveau geen uitsluitsel kan geven:

Dit is niet zo spectaculair als een autonome agent aan wie men alles toevertrouwt. Het is wel betrouwbaarder: elk niveau wordt apart getest, en elk niveau levert het vorige niveau de gegevens die het later in staat zullen stellen om meer gevallen zelfstandig af te handelen.

Na de AI die produceert, de AI die kiest

Enkele jaren lang was de vooruitgang van modellen vooral zichtbaar in wat ze produceerden: tekst, code, beelden, spraak. Jev, en open experimenten zoals SemIf, wijzen op een andere as. Een model dat alleen kiest, en dat snel genoeg kiest om opnieuw te beginnen wanneer de wereld verandert, komt terecht in lussen waarin men observeert, meerdere acties vergelijkt, handelt, en meet wat er werkelijk is gebeurd.

Wat nog moet worden vastgesteld, is even duidelijk. De cijfers van Jev zijn die van zijn uitgever, zijn kalibratie is niet getoond, en de open varianten documenteren scores die gevoelig zijn voor de volgorde van de opties. Wij gebruiken SemIf al in onze nieuwe automatiseringen, en daarom stellen wij de drempels daar vast op basis van herbekeken beslissingen en gaan de onzekere gevallen naar een persoon.

Wat deze beweging nu al zegt over automatisering, lijkt ons solide.

Soms is dat een regel, soms een boomgebaseerd model, soms een model dat in staat is een situatie te begrijpen en in honderd milliseconden te beslissen. En pas wanneer het probleem vereist na te denken, iets te verzinnen of iets uit te leggen, is het tijd om het grote model wakker te maken.

Als u een proces heeft waarin een beslissing tientallen keren per dag terugkomt en vandaag steunt op het lezen door een persoon, volstaat doorgaans een gesprek van dertig minuten om te weten welke van deze lagen daarbij past. Schrijf ons onderaan de pagina, of boek rechtstreeks een moment in onze agenda.

Bronnen

• TypeSafe AI, Introducing System One Models & Jev (15 september 2026)
  Officiële aankondiging: de latenties van 70 tot 500 ms, de Doom-demonstratie met een tiental beslissingen per seconde en de rekenkracht die dat kost.

• TypeSafe AI, documentatie: confidence
  Pagina die de betrouwbaarheidsscore beschrijft en de gebruiker voor de kalibratie naar zijn eigen metingen verwijst.

• Theodore Lee, SemIf (voorheen OpenJev), GitHub-repository
  Open variant voorgesteld in het eerste deel; de niet-gekalibreerde scores zijn de reden voor de gemeten drempels waarover dit artikel spreekt.

• Hacker News, discussie over de lancering van TypeSafe AI
  Opmerking van verschillende ontwikkelaars: de Doom-demonstratie leest een gestructureerde spelstatus, geen beelden.

• Chen, Zaharia, Zou, FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance (2023)
  Modelcascades: precisie van het beste model voor een fractie van de kostprijs.

• Zhang et al., Generative Verifiers: Reward Modeling as Next-Token Prediction (ICLR 2025)
  Vergelijking tussen een rechter die zijn redenering uitschrijft en een snelle beoordelaar in een selectielus.

• Hao et al., Reasoning with Language Model is Planning with World Model (EMNLP 2023)
  Boomvormige verkenning van beslissingen met een taalmodel als evaluator.