Qwen3.8-Flash-Next kehrt die Seitenregel am Fundus um

Ein KI-Server im medizinischen Zentrum

Wir richten in einem medizinischen Zentrum einen lokalen Server für künstliche Intelligenz ein. Die Bilder und Akten der Patienten bleiben im Gebäude. Das gewählte Modell, Qwen3.8-Flash-Next, ist ein offenes Modell, das Text und Bilder liest und auf zwei Grafikkarten des Servers läuft.

Bevor wir das Modell klinisch einsetzen, testen wir es an Aufgaben, deren Antwort wir kennen. Eine davon: auf einem Fundusfoto zu sagen, welches Auge es zeigt. Für einen Augenarzt ist das sofort klar. Die Papille, der helle Fleck, von dem die Gefäße ausgehen, liegt auf der Nasenseite. Auf einer frontal aufgenommenen Fundusaufnahme zeigt eine Papille in der linken Bildhälfte also ein linkes Auge.

Wir haben dem Modell die normale Fundusaufnahme eines linken Auges gegeben und es gebeten, sie zu beschreiben und die Seite anzugeben. Es antwortete „rechtes Auge“. Die Beschreibung des Bildes stimmte: Papillenexkavation, temporale Skleralsichel, Gefäßbögen. Die Begründung stimmte nicht: „Die Papille liegt links im Bild und die Makula mittig rechts. Da der nasale Pol somit links liegt, handelt es sich um ein rechtes Auge (klassische Regel: Papille links = OD; Papille rechts = OS).“

Das Modell hat die Papille an der richtigen Stelle gefunden und eine umgekehrte Regel zitiert. Eine höhere Bildauflösung änderte nichts. Mit einer Systemnachricht, die die richtige Konvention nannte, antwortete es „linkes Auge“.

Das Protokoll

Ein einzelnes Bild beweist nichts. Wir haben 30 Fundusaufnahmen aus dem öffentlichen Datensatz IDRiD genommen, 15 rechte und 15 linke Augen aus dem gesamten Testsatz, davon 20 mit diabetischer Retinopathie. Zu jedem Bild liefern die Autoren des Datensatzes die von Experten markierte Position von Papille und Fovea, womit die Seite eindeutig feststeht. Zu jedem Foto haben wir das Spiegelbild hinzugefügt, das aus einem rechten Auge ein linkes macht. Das ergibt 60 Bilder, gleich viele rechte wie linke Augen. Abbildung 1 zeigt eines dieser Paare.

Jedes Bild erhielt drei Fragen, auf Englisch gestellt. Jede bietet zwei Antworten, A und B, und das Modell muss mit einem einzigen Buchstaben antworten.

Die Konvention in Frage 3 ist die oben genannte anatomische Regel. Das ist der Text, den das Modell erhielt:

Convention: the photograph is oriented as seen by an examiner
facing the patient, and the optic disc lies on the nasal side
of the macula. Hence a disc in the left half of the image means
a LEFT eye, a disc in the right half means a RIGHT eye.

Mit anderen Worten: Das Foto wird von einem Untersucher gesehen, der dem Patienten gegenübersitzt, die Papille liegt auf der Nasenseite, und eine Papille in der linken Hälfte zeigt deshalb ein linkes Auge.

Das Modell schreibt keine Antwort. Wir verwenden SemIf, eine offene Nachbildung von Jev, dem Entscheidungsmodell von TypeSafe AI. Wir haben SemIf in unserem Artikel über Entscheidungsmodelle vorgestellt. Es liest die Wahrscheinlichkeit aus, die das Modell dem Buchstaben A und dem Buchstaben B zuweist.

Ein Sprachmodell kann Antwort A bevorzugen, egal was darin steht. Um diese Vorliebe zu messen und herauszurechnen, wurde jede Frage zweimal gestellt, mit vertauschten Antworten: einmal mit Right eye (OD) als A und Left eye (OS) als B, einmal mit Left eye (OS) als A und Right eye (OD) als B. Für jedes Bild mitteln wir dann die beiden Wahrscheinlichkeiten, die jede Antwort erhalten hat, und behalten die Antwort, deren Mittelwert über 0,5 liegt. Insgesamt 360 Entscheidungen (60 Bilder, 3 Fragen, 2 Antwortvarianten), ohne einen einzigen technischen Fehler.

Die Ergebnisse

Abbildung 2 zeigt den Anteil richtiger Antworten. Frage 2 erscheint darin zweimal: mit den rohen Antworten und mit vertauschten Antwortoptionen, was die Vorliebe für Antwort A herausrechnet.

Die Wahrnehmung ist gut. Das Modell weiß, wo die Papille liegt, mit einer medianen Wahrscheinlichkeit von 0,95.

Das Modell ist voreingenommen: Es bevorzugt Antwort A, egal was darin steht. Werden die Antworten A und B vertauscht, antwortet es trotzdem fast jedes Mal A. Nennt man ihm die Seitenregel, gibt es in 100 % der Fälle das richtige Auge an.

Bei Frage 2 wählt das Modell in 118 von 120 Entscheidungen Antwort A, ob sie das rechte oder das linke Auge bezeichnet. Dieser Positionsbias ist bei Multiple-Choice-Fragen an Sprachmodelle bekannt, und sie verdeckt den Rest: Das Ergebnis, 58 richtige Antworten von 120, sieht wie Zufall aus. Rechnet man diese Vorliebe durch das Mittel über die vertauschten Antworten heraus, ist die Seite bei 51 von 60 Bildern falsch.

Die Umkehrung ist systematisch, die Neigung dazu aber schwach: Die mediane Wahrscheinlichkeit der richtigen Antwort liegt bei 0,45. Sie zeigt sich auf den Originalfotos (26 von 30) wie auf den Spiegelbildern (25 von 30), bei gesunden Augen (17 von 20) wie bei kranken (34 von 40). Spiegelt man ein Bild, wechselt die Antwort des Modells in 21 von 30 Paaren. Es folgt also dem, was es sieht, und wendet danach die Regel in der falschen Richtung an.

Bei Frage 3 steht die Konvention in der Frage. Von 120 Entscheidungen sind nur zwei falsch, und das knapp: 0,52 gegen 0,48. Nach dem Mittel über die vertauschten Antworten ist kein Bild mehr falsch.

Diese Korrektur besteht aus einem Satz, der der Frage hinzugefügt wird: Das Modell wird in der Frage eingestellt, in normaler Sprache. Ein klassischer Klassifikator lernt seine Regel aus Beispielen. Der von Liu et al., der nur für die Seitenerkennung gebaut wurde, brauchte 18.394 annotierte Fundusaufnahmen, und um sein Verhalten zu ändern, braucht man neue Bilder und ein neues Training. Hier liest ein Augenarzt die Regel in der Frage, prüft sie und ändert sie in wenigen Sekunden, und dieselbe Methode funktioniert auch für andere Fragen, ohne etwas neu zu trainieren.

Was bereits bekannt ist

Dass multimodale Modelle mit der Seitenbestimmung von Fundusfotos Schwierigkeiten haben, ist bereits veröffentlicht. FunBench, ein auf der MICCAI 2025 vorgestellter Benchmark, stellt GPT-4o, Qwen2.5-VL, InternVL2.5, LLaVA und weiteren Modellen die Frage „linkes oder rechtes Auge?“, an Fundusaufnahmen aus mehreren öffentlichen Datensätzen, darunter IDRiD. Alle erreichen Werte nahe am Zufall. Die Autoren zeigen auch, dass der Teil des Modells, der das Bild kodiert, die Information enthält: Ein einfacher Klassifikator, der auf seinen Ausgaben trainiert wurde, erkennt das Auge in mehr als 8 von 10 Fällen. Sie führen das Scheitern darauf zurück, dass das Thema in Trainingstexten selten vorkommt: Die Seitenbestimmung ist zu elementar, als dass jemand darüber schreibt.

Auch die Vorliebe für die erste Option ist dokumentiert: Sprachmodelle bevorzugen bestimmte Antwortbuchstaben unabhängig vom Inhalt, und man korrigiert diesen Effekt, indem man die Optionen vertauscht.

Wir haben keine Arbeit gefunden, die den Mechanismus beschreibt, den wir beobachten: eine Papille, die auf jedem Bild richtig verortet wird, dann ein falsches Auge in 85 % der Fälle, sobald die Vorliebe für Antwort A herausgerechnet ist, deutlich unter dem Zufall, und eine umgekehrte Regel, die das Modell selbst ausspricht. Die rohen Antworten ergaben 58 richtige von 120, ein Wert, der wie Zufall aussieht. Ein Ergebnis nahe am Zufall kann also eine umgekehrte Regel verbergen, überdeckt vom Positionsbias.

Was wir geändert haben

Jede Frage zur Seite des Auges, die wir dem Modell stellen, enthält jetzt die anatomische Regel, so wie sie in Frage 3 steht. Das Modell verortet die Papille bereits an der richtigen Stelle, und dieser Hinweis genügt ihm, um daraus das richtige Auge abzuleiten.

Außerdem stellen wir jede Frage zweimal, mit vertauschten Antworten, und bilden den Mittelwert. Ohne das hätte der Positionsbias genügt, um die umgekehrte Regel zu verdecken, und wir hätten geschlossen, dass das Modell zufällig antwortet.

Die Grenzen dieses Tests

Die 30 Augen stammen aus einem einzigen öffentlichen Datensatz, und alle Fotos sind auf die Makula zentriert. Wir haben nur eine Version des Modells getestet, komprimiert, damit sie auf unsere Grafikkarten passt, und wir wissen nicht, ob die vollständige Version denselben Fehler macht. Der Vergleich mit anderen Modellen beruht auf einem einzigen Bild. Schließlich ist die Seitenbestimmung nur eine erste Kontrolle: Wir bereiten einen Test zum Glaukom anhand von OCT-Bildern vor.

Wenn Sie einen lokalen KI-Server für Ihr Zentrum oder Ihre Praxis in Betracht ziehen, reicht meist ein dreißigminütiges Gespräch, um zu klären, was er übernehmen kann. Schreiben Sie uns unten auf der Seite, oder buchen Sie direkt einen Termin in unserem Kalender.

Quellen

• Porwal et al., Indian Diabetic Retinopathy Image Dataset (IDRiD)
  Öffentlicher Datensatz von Fundusaufnahmen mit der von Experten markierten Position von Papille und Fovea, unter der Lizenz CC BY 4.0. Wir haben 30 Bilder aus der Teilmenge zur Lokalisierung verwendet.

• Wei et al., FunBench: Benchmarking Fundus Reading Skills of MLLMs (MICCAI 2025)
  Benchmark für das Lesen von Fundusaufnahmen durch multimodale Modelle; die Aufgabe zur Seitenbestimmung bleibt dort bei allen getesteten Modellen nahe am Zufall.

• Liu et al., A self-adaptive deep learning method for automated eye laterality detection based on color fundus photography (PLoS One, 2019)
  Neuronales Netz, trainiert auf 18.394 Fundusaufnahmen, um das rechte oder linke Auge zu erkennen; 99,13 % richtige Antworten bei 2.000 Bildern der externen Validierung.

• Zheng et al., Large Language Models Are Not Robust Multiple Choice Selectors (ICLR 2024)
  Messung der Verzerrung von Sprachmodellen zugunsten bestimmter Antwortbuchstaben bei Multiple-Choice-Fragen.

• Theodore Lee, SemIf, GitHub-Repository
  Methode, die in einem offenen Modell die Wahrscheinlichkeit jeder Option ausliest, ohne es eine Antwort schreiben zu lassen.