Qwen3.8-Flash-Next keert de lateraliteitsregel om

Een AI-server in het medisch centrum

We installeren een lokale server voor artificiële intelligentie in een medisch centrum. De beelden en dossiers van de patiënten blijven in het gebouw. Het gekozen model, Qwen3.8-Flash-Next, is een open model dat tekst en beelden leest en op twee grafische kaarten van de server draait.

Voordat we het model in een klinische toepassing inzetten, testen we het op taken waarvan we het antwoord kennen. Een daarvan is zeggen om welk oog het gaat op een fundusfoto. Voor een oogarts is dat meteen duidelijk: de papil, de lichte vlek waaruit de bloedvaten vertrekken, ligt aan de kant van de neus. Op een fundusfoto die recht van voren is genomen, wijst een papil in de linkerhelft van het beeld dus op een linkeroog.

We gaven het model een normale fundusfoto van een linkeroog en vroegen het om het beeld te beschrijven en de lateraliteit aan te geven. Het antwoordde “rechteroog”. De beschrijving van het beeld klopte: papilexcavatie, temporale sclerale sikkel, vaatarcades. De uitleg klopte niet: “De papil bevindt zich links in het beeld en de macula centraal rechts. Aangezien de nasale pool dus links ligt, gaat het om een rechteroog (klassieke regel: papil links = OD; papil rechts = OS).”

Het model vond de papil op de juiste plaats en citeerde een omgekeerde regel. Een hogere resolutie van het beeld veranderde niets. Met een systeembericht dat de juiste conventie vermeldde, antwoordde het “linkeroog”.

Het protocol

Eén beeld bewijst niets. We namen 30 fundusfoto’s uit de openbare dataset IDRiD: 15 rechterogen en 15 linkerogen, verspreid over de hele testset, waarvan 20 met diabetische retinopathie. Voor elke foto leveren de auteurs van de dataset de positie van de papil en de fovea zoals experts die hebben aangeduid, wat de lateraliteit ondubbelzinnig vastlegt. We voegden van elke foto het spiegelbeeld toe, dat een rechteroog in een linkeroog verandert. Dat geeft 60 beelden, met evenveel rechter- als linkerogen. Figuur 1 toont een van die paren.

Elk beeld kreeg drie vragen, in het Engels gesteld. Elke vraag biedt twee antwoorden aan, A en B, en het model moet met één letter antwoorden.

De conventie die bij vraag 3 is toegevoegd, is de anatomische regel van hierboven. Dit is de tekst die naar het model ging:

Convention: the photograph is oriented as seen by an examiner
facing the patient, and the optic disc lies on the nasal side
of the macula. Hence a disc in the left half of the image means
a LEFT eye, a disc in the right half means a RIGHT eye.

Met andere woorden: de foto wordt bekeken door een onderzoeker die tegenover de patiënt zit, de papil ligt aan de kant van de neus, en een papil in de linkerhelft wijst dus op een linkeroog.

Het model schrijft geen antwoord uit. We gebruiken SemIf, een open variant van Jev, het beslissingsmodel van TypeSafe AI. We stelden SemIf voor in ons artikel over beslissingsmodellen. Het leest de waarschijnlijkheid af die het model aan de letter A en aan de letter B toekent.

Een taalmodel kan antwoord A verkiezen, ongeacht de inhoud ervan. Om die voorkeur te meten en daarna weg te werken, werd elke vraag twee keer gesteld, met verwisselde antwoorden: een keer met Right eye (OD) als A en Left eye (OS) als B, een keer met Left eye (OS) als A en Right eye (OD) als B. Per beeld nemen we vervolgens het gemiddelde van de twee waarschijnlijkheden die we voor elk antwoord kregen, en we houden het antwoord aan waarvan het gemiddelde boven 0,5 ligt. In totaal 360 beslissingen (60 beelden, 3 vragen, 2 versies), zonder enige technische fout.

De resultaten

Figuur 2 geeft het aandeel juiste antwoorden. Vraag 2 staat er twee keer in: met de ruwe antwoorden, en daarna met de antwoordopties omgewisseld, wat de voorkeur voor antwoord A wegneemt.

De waarneming is goed. Het model weet waar de papil ligt, met een mediane waarschijnlijkheid van 0,95.

Het model is bevooroordeeld: het verkiest antwoord A, ongeacht de inhoud. Als we de tekst van antwoord A en B verwisselen, antwoordt het nog bijna elke keer A. Wanneer we het de lateraliteitsregel meegeven, kiest het in 100% van de gevallen het juiste oog.

Bij vraag 2 kiest het model antwoord A in 118 van de 120 beslissingen, of dat nu het rechter- of het linkeroog aanduidt. Deze positiebias is bekend bij meerkeuzevragen aan taalmodellen en verbergt de rest: de score, 58 juiste antwoorden op 120, lijkt op toeval. Wanneer die voorkeur is weggewerkt door het gemiddelde over de verwisselde antwoorden, is de lateraliteit fout bij 51 van de 60 beelden.

De omkering is systematisch, de voorkeur zelf is zwak: de mediane waarschijnlijkheid van het juiste antwoord bedraagt 0,45. Ze komt voor op de originele foto’s (26 op 30) en op de spiegelbeelden (25 op 30), bij gezonde ogen (17 op 20) en bij zieke ogen (34 op 40). Als we een beeld spiegelen, slaat het antwoord van het model om in 21 van de 30 paren. Het volgt dus wel degelijk wat het ziet, en past daarna de regel in de verkeerde richting toe.

Bij vraag 3 staat de conventie in de vraag. Van de 120 beslissingen zijn er maar twee fout, en dan nog nipt: 0,52 tegen 0,48. Na het gemiddelde over de verwisselde antwoorden is geen enkel beeld fout.

Deze correctie komt neer op één zin die aan de vraag wordt toegevoegd: het model wordt in de vraag zelf ingesteld, in gewone taal. Een klassieke classificator leert zijn regel uit voorbeelden. Die van Liu et al., die alleen voor lateraliteit is ontworpen, had 18.394 geannoteerde fundusfoto’s nodig, en om zijn werking te veranderen zijn nieuwe beelden en een nieuwe training nodig. Hier leest een oogarts de regel in de vraag, controleert hij die en past hij die in enkele seconden aan, en dezelfde methode werkt ook voor andere vragen zonder iets opnieuw te trainen.

Wat al bekend is

Dat multimodale modellen moeite hebben met de lateraliteit van fundusfoto’s, is al gepubliceerd. FunBench, een benchmark die op MICCAI 2025 werd voorgesteld, stelt de vraag “linkeroog of rechteroog?” aan GPT-4o, Qwen2.5-VL, InternVL2.5, LLaVA en andere modellen, op fundusfoto’s uit verschillende openbare datasets, waaronder IDRiD. Ze halen allemaal scores dicht bij toeval. De auteurs tonen ook aan dat het deel van het model dat het beeld codeert de informatie bevat: een eenvoudige classificator die op de uitvoer daarvan is getraind, herkent het oog in meer dan 8 op de 10 gevallen. Ze schrijven het falen toe aan het feit dat het onderwerp zelden voorkomt in de trainingsteksten: lateraliteit is te elementair om erover te schrijven.

De voorkeur voor de eerste optie is ook gedocumenteerd: taalmodellen bevoordelen bepaalde antwoordletters los van de inhoud, en dat effect corrigeert men door de opties te permuteren.

We vonden geen werk dat het mechanisme beschrijft dat wij zien: een papil die op elk beeld juist gelokaliseerd wordt, daarna een verkeerd oog in 85% van de gevallen zodra de voorkeur voor antwoord A is verwijderd, ver onder toeval, en een omgekeerde regel die het model zelf formuleert. De ruwe antwoorden gaven 58 juiste op 120, een score die op toeval lijkt. Een score dicht bij toeval kan dus een omgekeerde regel verbergen, gemaskeerd door de positiebias.

Wat we veranderd hebben

Elke lateraliteitsvraag aan het model bevat voortaan de anatomische regel, zoals die in vraag 3 staat. Het model lokaliseert de papil al op de juiste plaats, en die herinnering volstaat om er het juiste oog uit af te leiden.

We stellen ook elke vraag twee keer, met verwisselde antwoorden, en nemen het gemiddelde. Anders had de positiebias volstaan om de omgekeerde regel te verbergen, en hadden we geconcludeerd dat het model willekeurig antwoordde.

De grenzen van deze test

De 30 ogen komen uit één openbare dataset, en alle foto’s zijn op de macula gecentreerd. We hebben één versie van het model getest, gecomprimeerd om op onze grafische kaarten te passen, en we weten niet of de volledige versie dezelfde fout maakt. De vergelijking met andere modellen gaat over één beeld. Tot slot is lateraliteit maar een eerste controle: we bereiden een test over glaucoom voor op basis van OCT-beelden.

Overweegt u een lokale AI-server voor uw centrum of praktijk, dan volstaat een gesprek van dertig minuten doorgaans om te weten wat hij kan overnemen. Schrijf ons onderaan de pagina, of boek rechtstreeks een moment in onze agenda.

Bronnen

• Porwal et al., Indian Diabetic Retinopathy Image Dataset (IDRiD)
  Openbare dataset van fundusfoto’s met de positie van de papil en de fovea zoals experts die hebben aangeduid, onder licentie CC BY 4.0. We gebruikten er 30 beelden uit de subset voor lokalisatie.

• Wei et al., FunBench: Benchmarking Fundus Reading Skills of MLLMs (MICCAI 2025)
  Benchmark voor het lezen van fundusfoto’s door multimodale modellen; de lateraliteitstaak blijft er voor alle geteste modellen dicht bij toeval.

• Liu et al., A self-adaptive deep learning method for automated eye laterality detection based on color fundus photography (PLoS One, 2019)
  Neuraal netwerk getraind op 18.394 fundusfoto’s om het rechter- of linkeroog te herkennen; 99,13% juiste antwoorden op 2.000 beelden van externe validatie.

• Zheng et al., Large Language Models Are Not Robust Multiple Choice Selectors (ICLR 2024)
  Meting van de bias van taalmodellen voor bepaalde antwoordletters bij meerkeuzevragen.

• Theodore Lee, SemIf, GitHub-repository
  Methode die de waarschijnlijkheid van elke optie afleest in een open model, zonder het een antwoord te laten schrijven.