Entscheidungsmodelle (2): was Geschwindigkeit verändert

Im ersten Teil dieses Artikels haben wir Jev vorgestellt, das Modell von TypeSafe AI, das keinen Satz schreiben kann, und SemIf, die offene Nachbildung, die dieselbe Fähigkeit in einem Modell mit vier Milliarden Parametern ausliest. Ein Entscheidungsmodell erhält eine Situation und eine Liste von Optionen und liefert eine Wahrscheinlichkeit pro Option, in einem einzigen Durchlauf, in etwa hundert Millisekunden. Die Kategorien sind nicht mehr im Modell festgelegt; sie stehen im Programm.

Bis hierhin könnte man Jev oder SemIf als flexiblere Klassifikatoren betrachten. Das würde am Wesentlichen vorbeigehen. Wenn die Antwortzeit von mehreren Sekunden auf einige hundert Millisekunden sinkt, ändern sich die Anwendungen grundlegend. Dieser zweite Teil betrachtet, was diese Geschwindigkeit ermöglicht, und wovon sie nicht entbindet.

Was die Geschwindigkeit verändert

TypeSafe zeigt das am Spiel Doom. Das Modell erhält fortlaufend eine strukturierte Beschreibung des Spielzustands, Positionen der Gegner, Entfernungen, Winkel, und wählt eine Aktion. Die Demonstration läuft mit etwa zehn Entscheidungen pro Sekunde für ungefähr sieben Dollar Rechenkosten pro Stunde. Man muss dazu sagen, wie es mehrere Kommentatoren getan haben, dass das Modell Koordinaten liest und keine Bilder: Es verfügt über eine Information, die ein menschlicher Spieler nicht hat. Die Demonstration veranschaulicht dennoch, was eine schnelle Schleife ermöglicht.

An den Finanzmärkten kann eine Engine dieser Art fortlaufend ein Engagement oder eine Gruppe von Positionen neu bewerten; auf der Zeitskala der Sekunde, der Minute oder der Stunde, auf der sich die Strategien bewegen, die wir automatisieren, zählen hundert Millisekunden nicht mehr. In der Robotik oder beim assistierten Fahren ist mehr Vorsicht geboten: Die Regelkreise auf niedriger Ebene werden nicht einem Modell anvertraut, das ungefähr entscheidet, wohin das Lenkrad gedreht wird. Aber eine taktische Schicht, die zwischen Abbremsen, in der Spur bleiben oder ein Manöver aufgeben wählt, kann sich damit arrangieren, sofern anschließend ein deterministischer Controller genau festlegt, wie die Wahl ausgeführt wird.

Eine schnelle Entscheidung erlaubt vor allem, mehrere zu vergleichen

Hier wird der Maßstabswechsel interessant. Wenn jede Bewertung zehn Sekunden kostet, stellt man dem Modell eine Frage und akzeptiert seine Antwort. Wenn sie hundert Millisekunden kostet, kann man sich leisten, mehrere Hypothesen zu testen, bevor man handelt.

Stellen wir uns drei mögliche Aktionen vor, die vom Modell bewertet werden. Verfügt man über einen Simulator, der abschätzen kann, was jede davon bewirkt, kann man wiederum die daraus entstehenden Situationen bewerten:

Man fragt nicht mehr nur, welche Entscheidung jetzt die beste ist. Man fragt, was passiert, wenn man diese Entscheidung trifft, und dann jene. Das ist das Prinzip, das man, unter verschiedenen Namen, in der Planung, der modellprädiktiven Regelung und der Baumsuche wiederfindet, die von Spielprogrammen verwendet wird.

Es bleibt eine Grenze. Ein Entscheidungsmodell vergleicht zwar die Optionen, die man ihm gibt, aber es erfindet keine. Schlagen wir A, B, C und D vor, wird es sagen, dass B vorzuziehen ist; es wird nicht spontan eine Lösung E vorschlagen, die besser ist als die vier anderen. Daher zeichnet sich in mehreren aktuellen Arbeiten ein Paar ab: Ein generatives, langsames Modell schlägt Kandidaten vor, und ein schnelles Entscheidungsmodell bewertet sie und behält nur die besten, die man anschließend variiert.

Die langsame Generierung wird nicht mehr bei jedem Schritt aufgerufen; sie dient der Erkundung. Die Forschung zu Antwortprüfern sagt es in ähnlichen Worten: Ein Richter, der seine Begründung ausformuliert, wird zum Engpass, sobald viele Kandidaten bewertet werden müssen, und ein schneller Bewerter übernimmt überall dort seinen Platz, wo es möglich ist. Der Generator kann im Übrigen auch etwas anderes sein als ein Sprachmodell: ein evolutionärer Algorithmus, eine physikalische Simulation, eine Geschäftsregel-Engine oder einfache programmierte Variationen.

Eine Schleife, die mehrere Lösungen ausprobiert und die beste behält, betreibt Optimierung, noch kein Reinforcement Learning. Um von Lernen zu sprechen, muss man nach der Handlung eine Belohnung beobachten und sie nutzen, um künftige Entscheidungen zu verbessern. Die Geschwindigkeit eines Entscheidungsmodells liefert diesen Schritt nicht; sie macht ihn machbar, weil eine Strategie, die man zehnmal pro Sekunde befragen kann, auch zehnmal pro Sekunde bewertet werden kann.

Das kleine Modell kehrt ins Spiel zurück

Es gibt eine weitere, unmittelbarere Konsequenz für die Automatisierung eines Unternehmensprozesses. Zu Beginn verfügt das Unternehmen über keinen verwertbaren Datensatz, und ein allgemeines Entscheidungsmodell ist vom ersten Tag an einsatzbereit. Jede Ausführung kann anschließend aufbewahrt werden: der Ausgangszustand, die vorgeschlagene Entscheidung, ihr Konfidenzniveau, die eventuelle Korrektur durch eine Person und das beobachtete Ergebnis.

Nach einigen Monaten besitzt man etwas Wertvolleres als ein Universalmodell: Daten, die spezifisch für den eigenen Prozess sind. Man kann dann ein winziges, spezialisiertes Modell trainieren, das die sich wiederholenden Fälle übernimmt, die es sehr gut kennt, und dem Universalmodell die seltenen Fälle, die neuen Kategorien und alles überlassen, was nichts bereits Gesehenem ähnelt. Die Literatur zu Modellkaskaden, eröffnet von FrugalGPT im Jahr 2023, misst, was diese Organisation einbringt: die Genauigkeit des besten Modells für einen Bruchteil seiner Kosten, weil die Mehrheit der Fälle es nie braucht.

Zwei Vorkehrungen machen diese Organisation tragfähig. Die erste betrifft die Schwellenwerte. Eine vom Modell zurückgegebene Konfidenz von 0,8 ist nur so viel wert, wie die Messung sagt; man muss eine Stichprobe von Entscheidungen nachträglich prüfen, zählen, wie oft sich das Modell auf jedem Konfidenzniveau irrt, und den Schwellenwert für die Weiterleitung an eine Person anhand dieser Zählung festlegen, nicht anhand der Rohzahl. Genau das liefern weder TypeSafe noch SemIf an Ihrer Stelle. Die zweite betrifft den Platz der menschlichen Prüfung. Sie verschwindet nicht: Sie konzentriert sich auf Entscheidungen mit bedeutenden Folgen und auf solche, die das Modell selbst als unsicher meldet. Die Entscheidung bleibt die des Prozessverantwortlichen; was sich ändert, ist, dass er nicht mehr Hunderte offensichtliche Fälle durchsieht, um die zehn zu finden, die seine Aufmerksamkeit verdienen.

Und manchmal bleibt eine einfache Regel besser

Bei all dieser Raffinesse kann man etwas Offensichtliches vergessen: Manche Entscheidungen brauchen gar kein Modell. Nehmen wir ein Unternehmen, in dem jede Rechnung über 10.000 Euro von einer zweiten Person geprüft werden muss. Eine einzige Programmzeile genügt: Sie vergleicht den Betrag mit dem Schwellenwert und schickt die Rechnung in die zweite Prüfung. Diese Regel ist schneller, zuverlässiger und billiger, als ein Modell in den Ablauf einzufügen. Man kann sie lesen und verstehen, und sie gibt für dieselbe Rechnung immer dieselbe Antwort, während ein Modell bei jeder Iteration anders antworten kann.

Sie verwendet für jeden Teil des Problems den einfachsten Mechanismus, der ihn korrekt lösen kann, und steigt nur dann eine Stufe höher, wenn die vorherige Stufe zu keinem Schluss kommt:

Das ist nicht so spektakulär wie ein autonomer Agent, dem man alles überlässt. Es ist zuverlässiger, jede Stufe lässt sich einzeln testen, und jede Stufe liefert der vorherigen die Daten, die es ihr später erlauben, mehr Fälle allein zu bearbeiten.

Nach der KI, die erzeugt, die KI, die wählt

Einige Jahre lang zeigte sich der Fortschritt der Modelle vor allem in dem, was sie erzeugten: Text, Code, Bilder, Sprache. Jev, und offene Experimente wie SemIf, deuten auf eine andere Richtung hin. Ein Modell, das nur wählt, und das schnell genug wählt, um von vorn zu beginnen, wenn sich die Welt ändert, tritt in Schleifen ein, in denen man beobachtet, mehrere Aktionen vergleicht, handelt und misst, was tatsächlich geschehen ist.

Was noch zu klären bleibt, ist ebenso klar. Die Zahlen von Jev stammen von seinem Hersteller, seine Kalibrierung wurde nicht gezeigt, und die offenen Nachbauten dokumentieren Werte, die von der Reihenfolge der Optionen abhängen. Wir setzen SemIf bereits in unseren neuen Automatisierungen ein, und deshalb legen wir die Schwellenwerte dort anhand nachträglich geprüfter Entscheidungen fest und leiten die unsicheren Fälle an eine Person weiter.

Was diese Entwicklung bereits über die Automatisierung aussagt, erscheint uns solide.

Das ist mal eine Regel, mal ein baumbasiertes Modell, mal ein Modell, das eine Situation verstehen und in hundert Millisekunden entscheiden kann. Und erst wenn das Problem verlangt, nachzudenken, zu erfinden oder zu erklären, ist es Zeit, das große Modell zu wecken.

Wenn Sie einen Prozess haben, bei dem eine Entscheidung dutzende Male am Tag anfällt und heute auf dem Lesen durch eine Person beruht, genügt in der Regel ein Gespräch von dreißig Minuten, um herauszufinden, welche dieser Schichten dazu passt. Schreiben Sie uns unten auf der Seite, oder buchen Sie direkt einen Termin in unserem Kalender.

Quellen

• TypeSafe AI, Introducing System One Models & Jev (15. September 2026)
  Offizielle Ankündigung: die Latenzen von 70 bis 500 ms, die Doom-Demonstration mit etwa zehn Entscheidungen pro Sekunde und ihre Rechenkosten.

• TypeSafe AI, Dokumentation: confidence
  Seite, die den Konfidenzwert beschreibt und den Nutzer für die Kalibrierung auf seine eigenen Messungen verweist.

• Theodore Lee, SemIf (früher OpenJev), GitHub-Repository
  Offene Nachbildung, die im ersten Teil vorgestellt wurde; ihre nicht kalibrierten Werte sind der Grund für die nachträglich gemessenen Schwellenwerte, von denen dieser Artikel spricht.

• Hacker News, Diskussion zum Start von TypeSafe AI
  Hinweis mehrerer Entwickler: Die Doom-Demonstration liest einen strukturierten Spielzustand, keine Bilder.

• Chen, Zaharia, Zou, FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance (2023)
  Modellkaskaden: Genauigkeit des besten Modells für einen Bruchteil der Kosten.

• Zhang et al., Generative Verifiers: Reward Modeling as Next-Token Prediction (ICLR 2025)
  Vergleich zwischen einem Richter, der seine Begründung ausformuliert, und einem schnellen Bewerter in einer Auswahlschleife.

• Hao et al., Reasoning with Language Model is Planning with World Model (EMNLP 2023)
  Baumartige Exploration von Entscheidungen mit einem Sprachmodell als Bewerter.