Einen medizinischen Voicebot absichern, ohne ihn auszubremsen

Bei transtorm.ai haben wir Camille gebaut, eine Sprachassistentin, die für das Sekretariat mehrerer medizinischer Zentren die telefonische Terminvereinbarung übernimmt. Sie identifiziert den Patienten, schlägt freie Termine vor, verschiebt einen Termin oder sagt ihn ab und hinterlässt dem Team eine Nachricht.

Bei einem solchen System führt eine Sicherheitslücke nicht zu einer falschen Antwort. Sie führt zu einem abgesagten Termin, einer gefälschten Nachricht oder offengelegten Gesundheitsdaten. Deshalb haben wir um das Sprachmodell herum eine Anwendung gebaut, die es schützt. Sie beruht auf drei Bausteinen: einer schlanken lokalen Infrastruktur, Entscheidungsmodellen neben dem Sprachmodell und optimierten Prompts und Verbindungen, damit man diese Schutzmechanismen am Telefon nicht bemerkt.

Was ein Anrufer versuchen kann

Ein Voicebot vereint die Risiken eines Chatbots mit denen einer Telefonzentrale. Jeder kann anrufen, ohne Konto und ohne Passwort, und alles, was er sagt, landet beim Sprachmodell.

Die Transkription bringt ihre eigene Unsicherheit mit: Ein falsch erkannter Name oder eine verschluckte Verneinung genügt, um den Sinn eines Satzes zu verändern. Camille muss also auch dann sicher arbeiten, wenn sie schlecht hört.

Eine lokale Infrastruktur, bewusst schlank

Die Stimme des Patienten, ihre Transkription und die erzeugte Antwort bleiben auf unseren Servern. Die Gespräche gehen nicht an eine öffentliche API. Das ist der erste Schutz, noch vor der ersten Zeile im Prompt. Dieser Schutz ist zugleich die Grundlage unserer DSGVO-Position: Gesundheitsdaten werden an keinen Anbieter von KI-Modellen weitergegeben.

Diese Infrastruktur bleibt schlank: Die gesamte Sprachverarbeitung, von der Transkription über die Entscheidung bis zur Sprachsynthese, läuft auf einer einzigen Grafikkarte mit 32 GB. Das Sprachmodell ist ein MoE (Mixture of Experts): Es hat 26 Milliarden Parameter, aber für jedes Wort, das es erzeugt, werden nur etwa 4 Milliarden davon genutzt. Das Entscheidungsmodell mit etwa 4 Milliarden Parametern ist klein genug, um zusammen mit dem Sprachmodell, der Spracherkennung und der Sprachsynthese auf derselben Karte zu laufen. Man muss weder ein Rechenzentrum mieten noch ein Abonnement bei einem großen Anbieter abschließen.

Weil die Verarbeitung bei uns bleibt, haben wir auch die Antwortzeiten im Griff. Als die Sprachsynthese-API eines großen Anbieters 11 bis 32 Sekunden lang hängen blieb, antwortete unsere lokale Sprachsynthese in 80 bis 130 Millisekunden.

Das LLM spricht, das Entscheidungsmodell entscheidet, der Code führt aus

Das Sprachmodell führt das Gespräch, aber es entscheidet nicht allein und führt selbst nie etwas aus. Wir haben drei Rollen getrennt.

Die Entscheidungen, die für die Praxis verbindlich sind, übernehmen Entscheidungsmodelle, wie wir sie in unserem Artikel über Entscheidungsmodelle vorgestellt haben. Sie erhalten die Antwort des Patienten und eine geschlossene Liste von Optionen: welcher Arzt, welche Terminart, welcher der vorgeschlagenen Termine. Sie liefern eine dieser Optionen mit einem Konfidenzwert zurück, oder „ich weiß es nicht“. Liegt der Wert unter der Konfidenzschwelle, fragt Camille noch einmal nach, statt zu raten.

Den Rest prüft das Programm. Ein Datum muss ein echtes Datum sein, ein Termin muss aus einer tatsächlichen Kalenderabfrage stammen, eine E-Mail-Adresse muss bestätigt worden sein. Diese Kontrollen stehen im Code, nicht im Prompt, und kein noch so geschickter Satz kann sie aushebeln.

Buchungen, Absagen und das Weiterleiten von Nachrichten führt der Code aus, nach einer fest formulierten Zusammenfassung und einem klaren „Ja“.

Camille geht außerdem in Schritten vor, und jeder Schritt hat nur Zugriff auf die Werkzeuge, die er braucht. Ein präparierter Satz während der Begrüßung kann also nichts absagen. In den Schritten, die eine Aktion ausführen, wird zudem jeder Satz auf Manipulationsversuche geprüft. Ein Alarm blockiert die Aktion und leitet die Nachricht mit dem Vermerk „bitte prüfen“ an das Sekretariat weiter.

Die ersten sechs Schritte bereiten vor und prüfen. Nur der letzte verändert etwas, und ihn führt der Code aus. Keine dieser Schutzmaßnahmen genügt für sich allein: Um Schaden anzurichten, müsste ein Angriff gleichzeitig das Sprachmodell, das Entscheidungsmodell und die Kontrollen im Code täuschen.

So kann Camille sicherer sein als eine Mitarbeiterin im Sekretariat, weil sie systematisch prüft. Die Identität des Patienten, das gewünschte Datum und der Termin werden bei jedem Anruf kontrolliert, ausnahmslos, auch wenn das Telefon ununterbrochen klingelt.

Prompts und Verbindungen, auf Geschwindigkeit ausgelegt

Jede zusätzliche Kontrolle kann die Antwort verzögern, und am Telefon fällt Stille ab anderthalb Sekunden auf. Die Zeit zwischen dem Satzende des Patienten und dem Beginn der Antwort lag im Median bei 1,3 Sekunden. Heute liegt sie bei etwa einer Sekunde. Abbildung 1 zeigt, wo diese Zeit vergeht und warum die Kontrollen fast nichts hinzufügen.

Mehrere Maßnahmen sorgen dafür, dass dieses Zeitbudget eingehalten wird:

1. Das Satzende wird früher erkannt. Das ist der längste Schritt einer Dialogrunde. Camille geht jetzt nach 0,3 Sekunden Stille davon aus, dass der Patient fertig gesprochen hat, statt wie bisher nach 0,55. Die Erkennungszeit sank im Median von 816 auf 524 Millisekunden.
2. Die Kontrollen laufen parallel zum Sprachmodell, nicht davor. Bei gewöhnlichen Dialogrunden hat unsere Absicherung gegen Prompt-Injection im Durchschnitt eine Millisekunde gekostet.
3. Die Verbindungen werden einmal geöffnet und dann wiederverwendet. Für jede Entscheidung eine verschlüsselte Verbindung zu öffnen, kostete etwa 100 Millisekunden, mit einer gemeinsam genutzten Verbindung sind es 40.
4. Immer nur eine Entscheidung gleichzeitig neben dem Sprachmodell. Beide teilen sich dieselbe Grafikkarte, und eine zweite gleichzeitige Anfrage verlangsamte die Antwort um etwa 40 Millisekunden. Parallelität hat auf gemeinsam genutzter Hardware ihre Grenzen.
5. Ein stabiler Prompt. Der feste Teil des Prompts wird zwischengespeichert, der veränderliche Teil, etwa Datum und Uhrzeit, steht am Ende. Die erste Antwort eines Anrufs sank von 0,91 auf 0,66 Sekunden.
6. Vorab erzeugte Sätze. Die Begrüßung und die festen Fragen werden einmal synthetisiert und dann aus einem Cache abgespielt.
7. Eine Antwort, die fortlaufend weitergereicht wird. Der Text des Sprachmodells geht Stück für Stück an die Sprachsynthese, und die Stimme wird abgespielt, ohne auf die vollständige Antwort zu warten.

Ein Prüfstand, der die Angriffe simuliert

Ein Schutz, der nie geprüft wurde, bleibt eine Annahme. Ein automatisierter Prüfstand ruft Camille regelmäßig an und versucht die oben beschriebenen Manipulationen. Die Aktionen sind dabei nur simuliert, damit nichts kaputtgeht.

Der Prüfstand spielt zehn Angriffsszenarien durch, jedes dreimal. Vor der Absicherung brachten 18 von 30 Angriffen sie dazu, eine nicht verlangte Aktion auszuführen: einen Termin absagen oder verschieben, einen nie vorgeschlagenen Termin bestätigen, ein unsinniges Datum akzeptieren. Auf diesen Ergebnissen beruhen die Schutzmechanismen, die wir in diesem Artikel beschreiben. Nach der Absicherung gelang das keinem der 30 Angriffe mehr.

Sicherheit, die echte Patienten behindert, wäre ein Fehlschlag. Der Prüfstand spielt deshalb auch acht Szenarien mit gewöhnlichen Anrufern durch: Camille ruft dabei dieselben Werkzeuge auf, führt dieselben Aktionen aus und verwendet dieselben Formulierungen wie vor der Absicherung. Außerdem haben wir der neuen Version von Camille 42 aufgezeichnete Anrufe vorgelegt, insgesamt 241 Dialogrunden: Kein Anruf wurde fälschlich gemeldet, keine berechtigte Anfrage wurde abgelehnt. Der Prüfstand läuft vor und nach jeder Änderung am Prompt oder am Modell erneut.

Was wir daraus mitnehmen

Ein sicherer medizinischer Voicebot behält seine Daten bei sich, lässt das Sprachmodell nie allein handeln, überträgt die Entscheidungen Modellen und Code, die man überprüfen kann, und durchläuft regelmäßig einen Prüfstand, der die bekannten Angriffe simuliert. Gut umgesetzt kostet diese Sicherheit fast keine Antwortzeit.

Dieselbe Entscheidung für eine lokale Infrastruktur prägt unseren Empfangskiosk, der den Patienten bei der Ankunft identifiziert und die Arbeitsliste des Arztes erstellt.

Wenn Sie einen KI-Telefonassistenten für Ihre Praxis oder Ihren Kundenservice in Betracht ziehen, schreiben Sie uns unten auf der Seite, oder buchen Sie direkt einen Termin in unserem Kalender.