Otsustusmudelid (2): mida kiirus muudab

Selle artikli esimeses osas tutvustasime Jevi, TypeSafe AI mudelit, mis ei oska kirjutada lauset, ja SemIf’i, avatud vastet, mis loeb sama võimet neljamiljardilise parameetriga mudelist. Otsustusmudel saab sisendiks olukorra ja valikute loetelu ning tagastab tõenäosuse iga valiku kohta, ühe ainsa läbimisega, umbes saja millisekundiga. Kategooriad ei ole enam mudelisse kinnistatud; need on kirjutatud programmi.

Siiani võiks Jevi või SemIf’i pidada lihtsalt paindlikumaks klassifitseerijaks. See tähendaks olulisest mööda vaatamist. Kui vastamisaeg langeb mitmelt sekundilt mõnesaja millisekundini, muutub kasutuse iseloom. See teine osa vaatab, mida see kiirus võimaldab ja mida see ikkagi tegemata ei jäta.

Mida kiirus muudab

TypeSafe näitab seda mängu Doom abil. Mudel saab pidevalt struktureeritud kirjeldust mängu olekust, vaenlaste asukohad, kaugused, nurgad, ja valib tegevuse. Demonstratsioon töötab kümmekonna otsusega sekundis ja maksab arvutuselt umbes seitse dollarit tunnis. Tuleb täpsustada, nagu tegid mitmed kommenteerijad, et mudel loeb koordinaate, mitte pilte: tal on teavet, mida inimmängijal ei ole. Sellegipoolest illustreerib demonstratsioon hästi, mida kiire tsükkel võimaldab.

Finantsturgudel võib seda tüüpi mootor pidevalt uuesti hinnata riskipositsiooni või positsioonide kogumit; sekundi, minuti või tunni skaalal, kus asuvad strateegiad, mida me automatiseerime, ei loe sada millisekundit enam midagi. Robootikas või sõiduabis on ettevaatus rohkem vajalik: madala taseme kontrollitsükleid ei usaldata mudelile, kes otsustab ligikaudselt, kuhu rool panna. Kuid taktikaline kiht, mis valib aeglustamise, sõidurajale jäämise või manöövrist loobumise vahel, saab sellega hakkama, tingimusel et deterministlik kontroller otsustab seejärel täpselt, kuidas valikut täide viia.

Kiire otsus võimaldab eelkõige mitut võrrelda

Siin muutub mastaabimuutus huvitavaks. Kui iga hindamine maksab kümme sekundit, esitatakse mudelile küsimus ja võetakse vastus vastu. Kui see maksab sada millisekundit, võib endale lubada mitme hüpoteesi testimist enne tegutsemist.

Kujutame ette kolme võimalikku tegevust, mida mudel hindab. Kui käepärast on simulaator, mis suudab hinnata, mida iga tegevus tekitab, saab omakorda hinnata sellest tulenevaid olukordi:

Enam ei küsita ainult, milline on parim otsus praegu. Küsitakse, mis juhtub, kui teha see otsus, ja siis see teine. See on põhimõte, mida leiab erinevate nimede all planeerimisest, ennustavast juhtimisest ja mängude programmides kasutatavast puuotsingust.

Üks piirang jääb alles. Otsustusmudel võrdleb talle antud valikuid hästi, kuid ei leiuta neid ise. Kui pakume A, B, C ja D, ütleb ta, et B on eelistatud; ta ei paku omal algatusel välja lahendust E, mis oleks kõigist neljast parem. Sellest tuleneb paar, mis joonistub välja mitmes viimases töös: aeglane generatiivne mudel pakub kandidaate, ja kiire otsustusmudel hindab neid ning jätab alles ainult parimad, mida seejärel varieeritakse.

Aeglast generatsiooni ei kutsuta enam igal sammul; see teenib uurimist. Vastuste kontrollijate uurimine ütleb sarnaste sõnadega sama asja: kohtunik, kes kirjutab oma arutluse, on kitsaskoht niipea, kui tuleb hinnata palju kandidaate, ja kiire hindaja võtab tema koha üle kõikjal, kus see on võimalik. Generaator võib muide olla midagi muud kui keelemudel: evolutsiooniline algoritm, füüsikaline simulatsioon, ärireeglite mootor või lihtsad programmeeritud variatsioonid.

Tsükkel, mis proovib mitut lahendust ja jätab parima, on optimeerimine, mitte veel tugevdusõpe. Õppimisest rääkimiseks tuleb pärast tegevust jälgida tasu ja kasutada seda tulevaste otsuste parandamiseks. Otsustusmudeli kiirus ei anna seda sammu; see teeb selle teostatavaks, sest poliitikat, mida saab küsitleda kümme korda sekundis, saab ka hinnata kümme korda sekundis.

Väike mudel tuleb mängu tagasi

Ettevõtte protsessi automatiseerimisel on veel üks, otsesem tagajärg. Käivitamisel ei ole ettevõttel ühtegi kasutuskõlblikku andmestikku, ja üldotstarbeline otsustusmudel on kasutuskõlblik juba esimesest päevast. Iga käivitust saab seejärel salvestada: algolek, pakutud otsus, selle usaldustase, inimese tehtud võimalik parandus ja täheldatud tulemus.

Mõne kuu pärast on käes midagi väärtuslikumat kui üldotstarbeline mudel: oma protsessile spetsiifilised andmed. Siis saab treenida spetsialiseeritud, tillukese mudeli, mis võtab üle korduvad juhtumid, mida ta väga hästi tunneb, ja jätta üldotstarbelisele mudelile harvad juhtumid, uued kategooriad ja kõik, mis ei sarnane millegi varem nähtuga. Mudelikaskaadide kirjandus, mille avas FrugalGPT 2023. aastal, mõõdab, mida see korraldus annab: parima mudeli täpsus murdosa hinnaga, sest enamik juhtumeid ei vaja teda kunagi.

Kaks ettevaatusabinõu teevad selle korralduse elujõuliseks. Esimene puudutab lävendeid. Mudeli tagastatud usaldustase 0,8 on väärt ainult seda, mida mõõtmine ütleb; tuleb üle vaadata otsuste valim, lugeda, kui sageli mudel eksib igal usaldustasemel, ja määrata inimesele edastamise lävend selle loenduse, mitte toorarvu põhjal. Just seda ei tee teie eest ei TypeSafe ega SemIf. Teine puudutab inimese kinnitust. See ei kao: see koondub otsustele, mille tagajärjed on olulised, ja neile, mida mudel ise märgib ebakindlana. Otsus jääb endiselt protsessi eest vastutava inimese kätte; muutub see, et ta ei loe enam läbi sadu ilmselgeid juhtumeid, et leida kümme, mis väärivad tema tähelepanu.

Ja mõnikord on lihtne reegel ikka parim

Kogu see keerukus võib panna unustama midagi ilmselget: mõni otsus ei vaja üldse mudelit. Võtame ettevõtte, kus iga üle 10 000 euro suuruse arve peab kinnitama teine inimene. Piisab ühest programmireast: see võrdleb summat lävendiga ja saadab arve teisele kinnitusele. See reegel on kiirem, töökindlam ja odavam kui mudeli lisamine protsessi. Seda saab lugeda ja mõista ning see annab sama arve kohta alati sama vastuse, samas kui mudel võib igal iteratsioonil vastata erinevalt.

Ta kasutab probleemi iga osa jaoks kõige lihtsamat mehhanismi, mis suudab selle korrektselt lahendada, ja tõuseb ühe astme võrra kõrgemale ainult siis, kui eelmine aste ei suuda järeldust teha:

See ei ole nii efektne kui autonoomne agent, kellele usaldatakse kõik. See on usaldusväärsem, iga aste testitakse eraldi, ja iga aste annab eelmisele astmele andmed, mis võimaldavad tal hiljem üha rohkem juhtumeid iseseisvalt käsitleda.

Pärast tootvat tehisintellekti, valiv tehisintellekt

Mõne aasta jooksul nähti mudelite edusamme peamiselt selles, mida nad tootsid: teksti, koodi, pilte, häält. Jev ja avatud katsetused nagu SemIf viitavad teisele suunale. Mudel, mis ainult valib, ja valib piisavalt kiiresti, et alustada uuesti, kui maailm muutub, siseneb tsüklitesse, kus vaadeldakse, võrreldakse mitut tegevust, tegutsetakse ja mõõdetakse, mis tegelikult juhtus.

Sama selge on ka see, mis on veel tuvastamata. Jevi arvud on tema väljaandja arvud, tema kalibreerimist ei ole näidatud ning avatud vasted dokumenteerivad valikute järjekorra suhtes tundlikke skoore. Kasutame SemIf’i juba oma uutes automatiseerimistes ning seepärast määrame seal lävendid läbivaadatud otsuste põhjal ja suuname ebakindlad juhtumid inimesele.

See, mida see liikumine juba automatiseerimise kohta ütleb, tundub meile kindel.

Mõnikord on see reegel, mõnikord puudel põhinev mudel, mõnikord mudel, mis suudab olukorrast aru saada ja otsustada saja millisekundiga. Ja kui probleem nõuab järelemõtlemist, leiutamist või selgitamist, siis alles on aeg äratada suur mudel.

Kui teil on protsess, kus otsus kordub mitukümmend korda päevas ja tugineb praegu inimese lugemisele, piisab tavaliselt kolmekümneminutilisest vestlusest, et teada saada, milline neist kihtidest talle sobib. Kirjutage meile lehe allosas või broneerige otse aeg meie kalendrist.

Allikad

• TypeSafe AI, Introducing System One Models & Jev (15. september 2026)
  Ametlik teadaanne: 70–500 ms latentsused, Doomi demonstratsioon kümmekonna otsusega sekundis ja selle arvutuskulu.

• TypeSafe AI, dokumentatsioon: confidence
  Lehekülg, mis kirjeldab usaldusskoori ja suunab kasutaja kalibreerimiseks oma mõõtmiste juurde.

• Theodore Lee, SemIf (varem OpenJev), GitHubi hoidla
  Esimeses osas esitletud avatud vaste; selle kalibreerimata skoorid on põhjus, miks see artikkel räägib mõõdetud lävenditest.

• Hacker News, arutelu TypeSafe AI turuletuleku üle
  Mitme arendaja tähelepanek: Doomi demonstratsioon loeb mängu struktureeritud olekut, mitte pilte.

• Chen, Zaharia, Zou, FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance (2023)
  Mudelikaskaadid: parima mudeli täpsus vaid murdosa hinnaga.

• Zhang et al., Generative Verifiers: Reward Modeling as Next-Token Prediction (ICLR 2025)
  Võrdlus arutlust kirjutava kohtuniku ja kiire hindaja vahel valikutsüklis.

• Hao et al., Reasoning with Language Model is Planning with World Model (EMNLP 2023)
  Otsuste puuotsing keelemudeliga hindajana.