Modèles décisionnels (2) : ce que la vitesse change

Dans la première partie de cet article, nous avons présenté Jev, le modèle de TypeSafe AI qui ne sait pas écrire une phrase, et SemIf, la réplique ouverte qui lit la même capacité dans un modèle de quatre milliards de paramètres. Un modèle décisionnel reçoit une situation et une liste d’options, et il renvoie une probabilité par option, en un seul passage, en une centaine de millisecondes. Les catégories ne sont plus figées dans le modèle ; elles sont écrites dans le programme.

Jusqu’ici, on pourrait considérer Jev ou SemIf comme des classificateurs plus souples. Ce serait passer à côté de l’essentiel. Quand la réponse passe de plusieurs secondes à quelques centaines de millisecondes, les usages changent de nature. Cette seconde partie regarde ce que cette vitesse permet, et ce qu’elle ne dispense pas de faire.

Ce que la vitesse change

TypeSafe le montre avec le jeu Doom. Le modèle reçoit en continu une description structurée de l’état du jeu, positions des ennemis, distances, angles, et choisit une action. La démonstration tourne à une dizaine de décisions par seconde pour environ sept dollars de calcul par heure. Il faut préciser, comme l’ont fait plusieurs commentateurs, que le modèle lit des coordonnées et non des images : il dispose d’une information qu’un joueur humain n’a pas. La démonstration n’en illustre pas moins ce qu’une boucle rapide permet.

Sur les marchés financiers, un moteur de ce type peut réévaluer en permanence une exposition ou un ensemble de positions ; à l’échelle de la seconde, de la minute ou de l’heure, où se situent les stratégies que nous automatisons, cent millisecondes ne comptent plus. En robotique ou en conduite assistée, la prudence s’impose davantage : les boucles de contrôle de bas niveau ne seront pas confiées à un modèle qui décide approximativement où mettre le volant. Mais une couche tactique, celle qui choisit entre ralentir, rester dans la voie ou renoncer à une manœuvre, peut s’en accommoder, à condition qu’un contrôleur déterministe décide ensuite exactement comment exécuter le choix.

Une décision rapide permet surtout d’en comparer plusieurs

C’est ici que le changement d’échelle devient intéressant. Quand chaque évaluation coûte dix secondes, on pose une question au modèle et on accepte sa réponse. Quand elle coûte cent millisecondes, on peut se permettre de tester plusieurs hypothèses avant d’agir.

Imaginons trois actions possibles, notées par le modèle. Si l’on dispose d’un simulateur capable d’estimer ce que produit chacune, on peut noter à leur tour les situations qui en découlent :

On ne demande plus seulement quelle est la meilleure décision maintenant. On demande ce qui se passe si l’on prend cette décision, puis celle-là. C’est le principe que l’on retrouve, sous des noms différents, dans la planification, la commande prédictive et la recherche arborescente utilisée par les programmes de jeu.

Il reste une limite. Un modèle décisionnel compare bien les options qu’on lui donne, mais il n’en invente pas. Si nous proposons A, B, C et D, il dira que B est préférable ; il ne proposera pas spontanément une solution E meilleure que les quatre. D’où un couple qui se dessine dans plusieurs travaux récents : un modèle génératif, lent, propose des candidats, et un modèle décisionnel, rapide, les note et n’en garde que les meilleurs, que l’on fait ensuite varier.

La génération lente n’est plus appelée à chaque étape ; elle sert à explorer. La recherche sur les vérificateurs de réponses le dit en termes proches : un juge qui rédige son raisonnement est un goulot d’étranglement dès qu’il faut noter beaucoup de candidats, et un noteur rapide prend sa place partout où c’est possible. Le générateur peut d’ailleurs être autre chose qu’un modèle de langage : un algorithme évolutionnaire, une simulation physique, un moteur de règles métier ou de simples variations programmées.

Une boucle qui essaie plusieurs solutions et garde la meilleure fait de l’optimisation, pas encore de l’apprentissage par renforcement. Pour parler d’apprentissage, il faut observer une récompense après l’action et s’en servir pour améliorer les décisions futures. La vitesse d’un modèle décisionnel ne fournit pas cette étape ; elle la rend réalisable, parce qu’une politique que l’on peut interroger dix fois par seconde peut aussi être évaluée dix fois par seconde.

Le petit modèle revient dans le jeu

Il existe une autre conséquence, plus directe, pour l’automatisation d’un processus d’entreprise. Au lancement, la société ne dispose d’aucun jeu de données exploitable, et un modèle décisionnel généraliste sert dès le premier jour. Chaque exécution peut ensuite être conservée : l’état initial, la décision proposée, son niveau de confiance, la correction éventuelle apportée par une personne, et le résultat observé.

Après quelques mois, on possède quelque chose de plus précieux qu’un modèle généraliste : des données spécifiques à son propre processus. On peut alors entraîner un modèle spécialisé, minuscule, qui prend en charge les cas répétitifs qu’il connaît très bien, et laisser au modèle généraliste les cas rares, les nouvelles catégories et tout ce qui ne ressemble à rien de déjà vu. La littérature sur les cascades de modèles, ouverte par FrugalGPT en 2023, mesure ce que rapporte cette organisation : la précision du meilleur modèle pour une fraction de son coût, parce que la majorité des cas n’a jamais besoin de lui.

Deux précautions rendent cette organisation viable. La première concerne les seuils. Une confiance de 0,8 renvoyée par le modèle ne vaut que ce que la mesure en dit ; il faut relire un échantillon de décisions, compter à quelle fréquence le modèle se trompe à chaque niveau de confiance, et fixer le seuil de renvoi vers une personne d’après ce comptage, pas d’après le chiffre brut. C’est précisément ce que ni TypeSafe ni SemIf ne fournissent à votre place. La seconde concerne la place de la validation humaine. Elle ne disparaît pas : elle se concentre sur les décisions dont les conséquences sont importantes et sur celles que le modèle signale lui-même comme incertaines. La décision reste celle du responsable du processus ; ce qui change, c’est qu’il ne relit plus les centaines de cas évidents pour trouver les dix qui méritent son attention.

Et parfois, une simple règle reste meilleure

Toute cette sophistication peut faire oublier une évidence : certaines décisions n’ont besoin d’aucun modèle. Prenons une entreprise où toute facture de plus de 10 000 euros doit être validée par une seconde personne. Une seule ligne de programme suffit : elle compare le montant au seuil et envoie la facture en seconde validation. Cette règle est plus rapide, plus fiable et moins chère que l’ajout d’un modèle dans le circuit. On peut la lire et la comprendre, et elle donne toujours la même réponse pour la même facture, alors qu’un modèle peut répondre différemment à chaque itération.

Elle utilise, pour chaque partie du problème, le mécanisme le plus simple capable de la résoudre correctement, et elle ne monte d’un étage que lorsque l’étage précédent ne peut pas conclure :

Ce n’est pas aussi spectaculaire qu’un agent autonome à qui l’on confie tout. C’est plus fiable, chaque étage se teste séparément, et chaque étage fournit au précédent les données qui lui permettront, plus tard, de traiter davantage de cas seul.

Après l’IA qui produit, l’IA qui choisit

Pendant quelques années, le progrès des modèles s’est surtout vu dans ce qu’ils produisaient : du texte, du code, des images, de la voix. Jev, et les expérimentations ouvertes comme SemIf, suggèrent un autre axe. Un modèle qui ne fait que choisir, et qui choisit assez vite pour recommencer quand le monde change, entre dans des boucles où l’on observe, où l’on compare plusieurs actions, où l’on agit, où l’on mesure ce qui s’est réellement passé.

Ce qui reste à établir est tout aussi clair. Les chiffres de Jev sont ceux de son éditeur, sa calibration n’a pas été montrée, et les répliques ouvertes documentent des scores sensibles à l’ordre des options. Nous utilisons déjà SemIf dans nos nouvelles automatisations, et c’est pour cette raison que nous y fixons les seuils à partir de décisions relues et que les cas incertains sont renvoyés vers une personne.

Ce que ce mouvement dit déjà de l’automatisation nous paraît solide.

C’est parfois une règle, parfois un modèle à base d’arbres, parfois un modèle capable de comprendre une situation et de trancher en cent millisecondes. Et lorsque le problème exige de réfléchir, d’inventer ou d’expliquer, alors seulement il est temps de réveiller le grand modèle.

Si vous avez un processus où une décision revient des dizaines de fois par jour et repose aujourd’hui sur la lecture d’une personne, un échange de trente minutes suffit généralement à savoir laquelle de ces couches lui convient. Écrivez-nous en bas de page, ou réservez directement un créneau dans notre agenda.

Sources

• TypeSafe AI, Introducing System One Models & Jev (15 septembre 2026)
  Annonce officielle : les latences de 70 à 500 ms, la démonstration Doom à une dizaine de décisions par seconde et son coût de calcul.

• TypeSafe AI, documentation : confidence
  Page qui décrit le score de confiance et renvoie l’utilisateur à ses propres mesures pour la calibration.

• Theodore Lee, SemIf (anciennement OpenJev), dépôt GitHub
  Réplique ouverte présentée en première partie ; ses scores non calibrés sont la raison des seuils mesurés dont parle cet article.

• Hacker News, discussion du lancement de TypeSafe AI
  Remarque de plusieurs développeurs : la démonstration Doom lit un état structuré du jeu, pas des images.

• Chen, Zaharia, Zou, FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance (2023)
  Cascades de modèles : précision du meilleur modèle pour une fraction du coût.

• Zhang et al., Generative Verifiers: Reward Modeling as Next-Token Prediction (ICLR 2025)
  Comparaison entre un juge qui rédige son raisonnement et un noteur rapide dans une boucle de sélection.

• Hao et al., Reasoning with Language Model is Planning with World Model (EMNLP 2023)
  Exploration arborescente des décisions avec un modèle de langage comme évaluateur.