Qwen3.8-Flash-Next rakendab silmapõhja lateraalsuse reeglit vastupidi

Tehisintellekti server meditsiinikeskuses

Paigaldame meditsiinikeskusesse kohaliku tehisintellekti serveri. Patsientide pildid ja andmed jäävad hoone sisse. Valitud mudel Qwen3.8-Flash-Next on avatud mudel, mis loeb nii teksti kui ka pilte ja töötab serveri kahel graafikakaardil.

Enne kui mudeli kliinilisse kasutusse lülitame, testime seda ülesannetel, mille vastust teame. Üks neist on öelda, millise silmaga on silmapõhja fotol tegemist. Silmaarstile on see kohe selge: nägemisnärvi disk, hele laik, kust veresooned lähtuvad, asub nina poolel. Otse eest tehtud silmapõhja fotol tähendab pildi vasakus pooles asuv disk seega vasakut silma.

Andsime mudelile vasaku silma normaalse silmapõhja foto ja palusime tal seda kirjeldada ning lateraalsuse määrata. Ta vastas „parem silm“. Pildi kirjeldus oli õige: diski ekskavatsioon, temporaalne skleraalne sirp, veresoonte arkaadid. Põhjendus ei olnud: „Nägemisnärvi disk asub pildi vasakus pooles ja makula keskel paremal. Kuna nasaalne pool on seega vasakul, on tegemist parema silmaga (klassikaline reegel: disk vasakul = OD; disk paremal = OS).“

Mudel leidis diski õigest kohast ja tsiteeris ümberpööratud reeglit. Pildi resolutsiooni suurendamine ei muutnud midagi. Süsteemisõnum, milles oli kirjas õige kokkulepe, pani ta vastama „vasak silm“.

Katse ülesehitus

Üks pilt ei tõesta midagi. Võtsime avalikust andmestikust IDRiD 30 silmapõhja fotot, 15 paremat ja 15 vasakut silma kogu testikomplekti ulatuses, neist 20 diabeetilise retinopaatiaga. Iga foto kohta annavad andmestiku autorid ekspertide märgitud diski ja fovea asukoha, mis määrab lateraalsuse üheselt. Lisasime iga foto peegelpildi, mis muudab parema silma vasakuks. Kokku on see 60 pilti, paremaid ja vasakuid silmi võrdselt. Joonis 1 näitab ühte sellist paari.

Igale pildile esitati kolm küsimust inglise keeles. Igal küsimusel on kaks vastusevarianti, A ja B, ja mudel peab vastama ühe tähega.

Küsimusele 3 lisatud kokkulepe on eespool kirjeldatud anatoomiline reegel. Mudelile saadetud tekst oli järgmine:

Convention: the photograph is oriented as seen by an examiner
facing the patient, and the optic disc lies on the nasal side
of the macula. Hence a disc in the left half of the image means
a LEFT eye, a disc in the right half means a RIGHT eye.

Teisisõnu: fotot vaatab patsiendi vastas istuv uurija, disk asub nina poolel ja pildi vasakus pooles asuv disk tähendab seega vasakut silma.

Mudel ei kirjuta vastust. Kasutame SemIf’i, mis on TypeSafe AI otsustusmudeli Jev avatud vaste. Tutvustasime seda artiklis otsustusmudelitest. SemIf loeb tõenäosuse, mille mudel annab tähele A ja tähele B.

Keelemudel võib eelistada vastust A sõltumata selle sisust. Selle eelistuse mõõtmiseks ja eemaldamiseks esitati iga küsimus kaks korda, vastuste A ja B tekstid vahetatud: üks kord Right eye (OD) kui A ja Left eye (OS) kui B, teine kord Left eye (OS) kui A ja Right eye (OD) kui B. Seejärel võtame iga pildi puhul kummagi vastuse kahe tõenäosuse keskmise ja valime vastuse, mille keskmine ületab 0,5. Kokku 360 otsust (60 pilti, 3 küsimust, 2 versiooni), ilma ühegi tehnilise veata.

Tulemused

Joonis 2 näitab õigete vastuste osakaalu. Küsimus 2 on seal kaks korda: toorvastustega ja vastusevariantide vahetamisega, mis eemaldab vastuse A eelistuse.

Taju on hea. Mudel teab, kus disk asub, mediaantõenäosusega 0,95.

Mudel on kallutatud: ta eelistab vastust A sõltumata selle sisust. Kui vastuste A ja B tekstid vahetada, vastab ta ikka peaaegu alati A. Kui talle lateraalsuse reegel meelde tuletada, annab ta õige silma 100% juhtudest.

Küsimuses 2 valib mudel vastuse A 118 otsuses 120-st, olenemata sellest, kas see tähendab paremat või vasakut silma. See asukohast tulenev kallutatus on keelemudelitele esitatud valikvastustega küsimustes tuntud nähtus ja varjab kõike muud: tulemus, 58 õiget vastust 120-st, näeb välja nagu juhus. Kui see eelistus vahetatud vastustega versioonide keskmisega eemaldada, on lateraalsus vale 51 pildil 60-st.

Ümberpööramine on süstemaatiline, kuid eelistus on nõrk: õige vastuse mediaantõenäosus on 0,45. See esineb nii originaalfotodel (26 pildil 30-st) kui ka peegelpiltidel (25 pildil 30-st), nii tervetel silmadel (17 pildil 20-st) kui ka haigetel silmadel (34 pildil 40-st). Kui pilt peegeldada, muutub mudeli vastus 21 paaris 30-st. Ta järgib seega seda, mida näeb, ja rakendab siis reeglit vales suunas.

Küsimuses 3 on kokkulepe küsimusse kirjutatud. 120 otsusest on valed vaid kaks ja napilt: 0,52 vastu 0,48. Pärast vahetatud vastustega versioonide keskmistamist ei ole ükski pilt vale.

See parandus mahub ühte küsimusele lisatud lausesse: mudelit seadistatakse küsimuses, tavakeeles. Klassikaline klassifitseerija õpib oma reegli näidete põhjal. Liu et al. klassifitseerija, mis on loodud ainult lateraalsuse jaoks, vajas 18 394 märgendatud silmapõhja fotot, ja selle käitumise muutmiseks on vaja uusi pilte ja uut treeningut. Siin loeb silmaarst reegli küsimusest, kontrollib ja muudab seda mõne sekundiga ning sama meetod sobib ka teiste küsimuste jaoks ilma midagi uuesti treenimata.

Mis on juba teada

Multimodaalsete mudelite raskused silmapõhja lateraalsusega on juba avaldatud. MICCAI 2025 konverentsil esitletud võrdlustest FunBench küsib „vasak või parem silm?“ mudelitelt GPT-4o, Qwen2.5-VL, InternVL2.5, LLaVA ja teistelt, kasutades mitme avaliku andmestiku silmapõhja fotosid, sealhulgas IDRiD. Kõik saavad juhusele lähedase tulemuse. Autorid näitavad ka, et mudeli pilti kodeeriv osa sisaldab vajalikku teavet: selle väljunditel treenitud lihtne klassifitseerija tunneb silma ära enam kui 8 juhul 10-st. Nad seletavad ebaõnnestumist sellega, et teema on treeningtekstides haruldane: lateraalsus on liiga elementaarne, et sellest kirjutataks.

Ka esimese valiku eelistamine on dokumenteeritud: keelemudelid eelistavad teatud vastusetähti sisust sõltumata ja seda mõju parandatakse valikute ümberjärjestamisega.

Me ei leidnud tööd, mis kirjeldaks meie täheldatud mehhanismi: disk leitakse igal pildil õigesti üles, kuid silm on vale 85% juhtudest pärast vastuse A eelistuse eemaldamist, juhusest tunduvalt allpool, ja mudel sõnastab ümberpööratud reegli ise. Toorvastustest oli õigeid 58 vastust 120-st, tulemus, mis näeb välja nagu juhus. Juhusele lähedane tulemus võib seega peita ümberpööratud reeglit, mida varjab asukohast tulenev kallutatus.

Mida me muutsime

Iga lateraalsuse küsimus, mille mudelile esitame, sisaldab nüüd anatoomilist reeglit samal kujul nagu küsimuses 3. Mudel leiab diski juba õigest kohast ja see meeldetuletus aitab tal järeldada õige silma.

Esitame ka iga küsimuse kaks korda, vastuste A ja B tekstid vahetatud, ning võtame keskmise. Ilma selleta oleks asukohast tulenev kallutatus reegli ümberpööramise ära varjanud ja me oleksime järeldanud, et mudel vastab juhuslikult.

Selle katse piirangud

Need 30 silma pärinevad ühest avalikust andmestikust ja kõik fotod on tsentreeritud makulale. Testisime mudeli ühte versiooni, mis on tihendatud meie graafikakaartidele mahtumiseks, ja me ei tea, kas täisversioon teeb sama vea. Võrdlus teiste mudelitega põhineb ainult ühel pildil. Lõpuks on lateraalsus vaid esimene kontroll: valmistame ette glaukoomi testi OCT-piltide põhjal.

Kui kaalute kohalikku tehisintellekti serverit oma keskusele või vastuvõtule, piisab tavaliselt poole tunni pikkusest vestlusest, et selgitada, milliseid ülesandeid see saab enda peale võtta. Kirjutage meile lehe allosas või broneerige aeg otse meie kalendrist.

Allikad

• Porwal et al., Indian Diabetic Retinopathy Image Dataset (IDRiD)
  Avalik silmapõhja fotode andmestik, milles on ekspertide märgitud diski ja fovea asukoht, litsentsiga CC BY 4.0. Kasutasime selle lokaliseerimise alamhulgast 30 pilti.

• Wei et al., FunBench: Benchmarking Fundus Reading Skills of MLLMs (MICCAI 2025)
  Võrdlustest, mis hindab, kuidas mitmeliigilised mudelid silmapõhja fotosid loevad; lateraalsuse ülesandes jäävad kõik testitud mudelid juhuse lähedale.

• Liu et al., A self-adaptive deep learning method for automated eye laterality detection based on color fundus photography (PLoS One, 2019)
  Närvivõrk, mis on treenitud 18 394 silmapõhja fotol parema või vasaku silma äratundmiseks; 99,13% õigeid vastuseid 2000 välise valideerimise pildil.

• Zheng et al., Large Language Models Are Not Robust Multiple Choice Selectors (ICLR 2024)
  Mõõdab keelemudelite kallutatust teatud vastusetähtede suhtes valikvastustega küsimustes.

• Theodore Lee, SemIf, GitHubi hoidla
  Meetod, mis loeb avatud mudelist iga valiku tõenäosuse, ilma et mudel peaks vastust kirjutama.