Wer wissen möchte wie verschiedene KI-Chatbots bei der Beantwortung von Gesundheitsfragen von echten Patienten abschneiden, sollte sich die neue Studie „OsteoCHAT: real-world patient evaluation and benchmarking of a guideline-grounded osteoporosis chatbot" in Osteoporosis International genauer ansehen.

In dieser haben Menschen mit Osteoporose einen KI-Chatbot mit echten Fragen getestet und dabei ein klares Bild gezeichnet. Die Antworten werden überwiegend als verständlich und hilfreich wahrgenommen. Gleichzeitig zeigt die Studie, wo Vertrauen in KI im Gesundheitswesen noch an Grenzen stößt und wie verschiedene Systeme im Vergleich abschneiden.

Für die Studie wurde OsteoCHAT entwickelt, ein KI-basierter Chatbot, der auf unserer Buddy-Plattform basiert und Fragen rund um Osteoporose beantwortet. Die Antworten basieren im Vergleich zu anderen KI-Systemen auf der deutschen DVO Leitlinie Osteoporose 2023, anstelle einer allgemeinen Wissensbasis eines Sprachmodells. Dafür kommt ein sogenannter Retrieval-Augmented-Generation-Ansatz (RAG) zum Einsatz. Relevante Inhalte aus der Leitlinie werden für die jeweilige Frage abgerufen und in die Antwort einbezogen.

1075 Fragen, viele positive Rückmeldungen

Getestet wurde OsteoCHAT mit Patienten an sieben Standorten in Deutschland. Insgesamt wurden 1.075 Frage-Antwort-Interaktionen erfasst. 389 Antworten wurden von den Nutzern direkt mithilfe eines Feedbackbuttons (Daumen nach oben/nach unten) bewertet, davon erhielten 97,4 % eine positive Bewertung. Auch bei der anschließenden Befragung mittels Fragebogen schnitt der Chatbot überwiegend gut ab:

• 84,3 % fanden die Antworten verständlich.
• 79,8 % bewerteten die Bedienung als einfach.
• 77,2 % sahen einen Zeitvorteil bei der Informationssuche.
• 78,7 % empfanden OsteoCHAT als sinnvolle Ergänzung zu bestehenden Informationsangeboten.
• 59,2 % würden den Chatbot gegenüber einer klassischen Internetsuche bevorzugen.

Ein Ergebnis fällt etwas anders aus. Beim Punkt „Vertrauen in die Antworten" lag die Zustimmung der Teilnehmenden mit 64,7 % niedriger als bei Verständlichkeit oder Bedienbarkeit. Dieser Wert ist bei medizinischen KI-Anwendungen von Relevanz, da Vertrauen bei digitalen Gesundheitsangeboten eine wichtige Rolle dafür spielt, ob Menschen diese dauerhaft nutzen. Studien zeigen zugleich, dass das Vertrauen in KI-Chatbots bislang meist geringer ist als in die direkte Kommunikation mit Ärzten.

Ein weiterer interessanter Punkt sind die Nutzungszeiten des Chatbots. Fast ein Drittel (31,9 %) der ausgewerteten Interaktionen fand ausserhalb der üblichen Sprechzeiten statt. Die Analyse der Teilnehmerkohorte ergab, dass jüngere Teilnehmer in den meisten bewerteten Bereichen tendenziell bessere Bewertungen abgaben als ältere Teilnehmer.

OsteoCHAT im Vergleich mit ChatGPT, Gemini und Meta AI

Neben der Bewertung durch die Nutzenden wurde OsteoCHAT auch fachlich unter die Lupe genommen. Fünf Osteoporose- Experten verglichen die Antworten auf zehn typische Fragen mit den Antworten von ChatGPT, Gemini und Meta AI. Bewertet wurden unter anderem fachliche Korrektheit, Verständlichkeit, Handlungsorientierung und Sicherheit.

Das Ergebnis fällt insgesamt positiv aus: OsteoCHAT erreichte im Median 14 von 15 Punkten und lag damit auf Augenhöhe mit ChatGPT und Gemini. Meta AI kam auf 13 Punkte. Gleichzeitig zeigte der Vergleich, dass alle Systeme bei komplexeren Therapieentscheidungen sowie bei der Kommunikation von Nebenwirkungen an Grenzen geraten.

OsteoCHAT kann bei der bewerteten Antwortqualität somit mit den universellen Systemen mithalten. Die Studie liefert damit wissenschaftliche Evidenz dafür, dass ein auf Leitlinien basierender Chatbot qualitativ auf Augenhöhe mit universellen LLMs arbeiten kann und sich dabei gezielt für die Anforderungen medizinischer Anwendungen (z.B. Datenschutz) gestalten lässt.

Für uns ist die Publikation auch aus einem weiteren Grund besonders wichtig. OsteoCHAT zeigt, wie unsere Buddy-Plattform für konkrete medizinische Informationsangebote genutzt werden kann und Menschen ergänzend zur ärztlichen Begleitung unterstützt. Wir bedanken uns daher bei unseren Partnern, die uns in diese wissenschaftliche Evaluation einbezogen haben. Die Ergebnisse zeigen uns zugleich, wo wir mit Buddy bereits einen guten Beitrag zur digital unterstützten Versorgung leisten und wo wir diesen weiter ausbauen können.