HNU Healthcare Management Insights #55

Wo liegt heute die größte Haftungsillusion beim KI-Einsatz in der Medizin? Sollten Ärztinnen und Ärzte überhaupt KI-Entscheidungen vertrauen, wenn sie letztlich die Verantwortung tragen?

Daniel Kleiboldt: Ein Radiologe lässt eine KI den Befund vorschreiben, liest drüber, unterschreibt. Drei Monate später stellt sich heraus, dass die KI einen Tumor übersehen hat. Seine erste Reaktion: „Das System hat versagt." Die Reaktion seines Anwalts: „Sie haben versagt."

Das ist die größte Haftungsillusion. Viele gehen davon aus, die KI entscheide, also liege die Verantwortung beim Hersteller. Rechtlich falsch und praktisch gefährlich. KI ist ein Werkzeug, und die Behandlungsverantwortung bleibt beim Arzt. Ob man KI-Empfehlungen vertrauen sollte? Ja, aber kritisch. Das Modell der zweiten Meinung ist eine hilfreiche Analogie, hat aber eine juristische Grenze. Ein ärztlicher Kollege trägt eigene Berufshaftung und kann seinen Irrtum erklären. Die KI kann das nicht. Das macht die eigene klinische Beurteilung und ihre Dokumentation umso unverzichtbarer. Dazu kommt eine Dimension, die im Praxisalltag oft übersehen wird. Patienten haben ein legitimes Interesse daran zu wissen, wenn KI bei ihrer Diagnose eine Rolle spielt. Wer das ignoriert, hat die Aufklärungspflicht noch nicht vollständig durchdacht.

Wer haftet eigentlich, wenn die KI irrt – Arzt, Hersteller oder niemand?

Daniel Kleiboldt: In den meisten Fällen der Arzt. Das ist die logische Konsequenz der Behandlungsverantwortung. Zwei Konstellationen sind zu unterscheiden. Wenn die KI aufgrund eines Systemfehlers falsche Ergebnisse produziert, kann Produkthaftung des Herstellers greifen. Seit Dezember 2024 ist die neue EU-Produkthaftungsrichtlinie in Kraft, die Software und KI-Systeme ausdrücklich erfasst und die bis Dezember 2026 in deutsches Recht umgesetzt werden muss. Bis dahin gilt weiterhin das bisherige ProdHaftG, aber die Richtung ist klar, und die Herstellerhaftung wird sich dadurch deutlich ausweiten. Wenn der Arzt dagegen einen plausiblen Output unkritisch übernimmt oder einen zweifelhaften Befund übersieht, weil er im Workflow eingebettet ist, liegt ein Behandlungsfehler vor. Im selben Schadensfall können zwei Haftungsstränge parallel laufen, ärztliche Haftung und Produkthaftung. Wie die Verantwortung in solchen verteilten Fehlerketten aufgeteilt wird, ist noch kaum ausjudiziert. Auch das ist selbst schon ein Risiko.

Was bedeutet das LG-Kiel-Urteil 2024 konkret für niedergelassene Ärzte und MVZ-Betreiber?

Daniel Kleiboldt: Zunächst eine wichtige Einordnung. Das Urteil des LG Kiel (Az. 6 O 151/23) ist kein Medizinrechtsfall. Es betrifft ein Unternehmensauskunftsportal, dessen KI-Software automatisch Pflichtmitteilungen aus dem Handelsregister auswertete und dabei zwei Unternehmen mit ähnlichem Namen verwechselte, mit dem Ergebnis, dass dem falschen Unternehmen eine Löschung wegen Vermögenslosigkeit angehängt wurde. Der Portalbetreiber argumentierte, er sei an dem vollautomatischen Vorgang nicht beteiligt gewesen. Das Gericht ließ das nicht gelten. Wer KI bewusst einsetzt, um Ergebnisse zu erzeugen und zu veröffentlichen, ist unmittelbarer Störer. Unabhängig davon, ob er von konkreten Fehlern wusste. In den medizinischen Kontext übersetzt heißt das, dass der Algorithmus sich irrt, aber der Stempel unter dem Befund Ihren Namen trägt. Der Grundsatz lässt sich direkt übertragen: Der Arzt glaubt, er nutzt ein Werkzeug. Das Recht sagt, er übernimmt dessen Output. „Ich habe nur das System genutzt“ ist kein Schutzargument. Darüber hinaus gibt es in der Rechtswissenschaft eine ernstzunehmende Diskussion darüber, ob die Nicht-Nutzung von KI ihrerseits zur Haftungsfrage werden kann, dann nämlich, wenn ein KI-System in einem bestimmten Versorgungsbereich zum anerkannten Standard wird. Das ist noch kein geltendes Recht, aber eine Entwicklung, die Führungskräfte im Gesundheitswesen auf dem Radar haben sollten.

Was übersehen Praxen bei der Auswahl von KI-Anbietern?

Daniel Kleiboldt: Die AGB. Klingt banal, ist aber der häufigste blinde Fleck. Viele KI-Anbieter schließen in ihren Nutzungsbedingungen jede Haftung für inhaltliche Fehler aus. Wenn das System eine falsche Diagnose vorschlägt und Sie sie übernehmen, stehen Sie allein da. Der Hersteller hat sich vertraglich freigezeichnet, bevor Sie das erste Mal auf "Befund generieren" geklickt haben. Was ich dabei beobachte, ist ein systematisches Muster. Auf der Marketingseite wird die KI als Entlastung verkauft, als Innovation, als Effizienzgewinn. Die Sprache ist ausgefeilt, die Versprechen sind konkret. Auf der Vertragsseite ist die Formulierung genauso präzise, nur in die andere Richtung. „Letztentscheidung liegt beim Anwender“.  Haftungsausschlüsse, die den Betreiberstatus klar beim Arzt verorten. Beides für sich genommen nachvollziehbar. Aber zwischen dem Versprechen und der Rechtswirklichkeit klafft eine Lücke, die kein Anbieter schließt. Kein DSFA-Template, keine Schulungsunterlage für das Praxisteam, keine Checkliste für die Implementierung der menschlichen Aufsicht. Was ich Praxen empfehle, ist ein genauer Blick vor der Einbindung. Bevor Sie ein System in die Patientenversorgung einbinden, lesen Sie die Haftungsklausel, die Datenschutzvereinbarung und prüfen Sie, welche Funktionen das System tatsächlich ausführt. Die entscheidende Frage ist, ob die KI nur dokumentiert, was der Arzt sagt, oder ob sie anfängt, eigenständig diagnostische oder therapeutische Empfehlungen zu geben. Denn sobald sie das tut, verschiebt sich die regulatorische Einordnung fundamental. Das System wird zum Medizinprodukt, und für den Betreiber greifen die erweiterten Pflichten nach Art. 26 AI Act. Vertrauen Sie der Technik. Aber lesen Sie den Vertrag.

Wie muss sich der Workflow in Arztpraxen verändern, damit Haftungsrisiken beherrschbar bleiben? Welche Rolle spielt Fort- und Weiterbildung dabei?

Daniel Kleiboldt: Drei Änderungen, die heute umsetzbar sind: Erstens, KI-Nutzung explizit dokumentieren. Nicht nur das Ergebnis, sondern den Prozess, also welches System eingesetzt wurde, welcher Output kam und welche eigene Schlussfolgerung daraus gezogen wurde. Zweitens, eine kritische Prüfroutine etablieren, bei der KI-Output als Eingang in die Entscheidung behandelt wird, nicht als Ausgang. Drittens, das Team auf die konkreten Entscheidungspunkte schulen, an denen der menschliche Faktor entscheidend ist, nicht auf das Tool selbst. Zur Fortbildung unterscheidet die KI-Verordnung zwei Ebenen. Art. 4 verpflichtet Betreiber von KI-Tools bereits seit Februar 2025, dafür zu sorgen, dass ihr Personal über ausreichende KI-Kompetenz verfügt. Das ist keine klassische Schulungspflicht mit Bußgeldbewehrung, sondern eine Organisationspflicht, aber eine, die ernst genommen werden muss. Art. 26 Abs. 2 geht für Hochrisiko-KI-Systeme noch weiter und verlangt, dass die menschliche Aufsicht Personen übertragen wird, die nachweislich über die erforderliche Kompetenz verfügen. Die Fristen für die vollständige Geltung der Betreiberpflichten bei Hochrisiko-KI werden aktuell durch den Digital Omnibus neu justiert. Die politische Einigung geht in Richtung Ende 2027 für eigenständige KI-Systeme und August 2028 für KI, die in Medizinprodukte eingebettet ist. Art. 4 gilt davon unabhängig bereits jetzt. Wer mit der Schulung seines Teams wartet, bis die Fristen endgültig stehen, hat am Ende zu wenig Vorlauf.

Was ist der häufigste vermeidbare Fehler, den Sie in der Beratungspraxis sehen?

Daniel Kleiboldt: Dokumentationslücken. Nicht aus Nachlässigkeit, sondern aus einem falschen Verständnis davon, was heute ausreichend dokumentiert ist, wenn KI im Spiel war. Ärzte dokumentieren das Ergebnis. Gerichte beurteilen den Prozess. Das ist die Schere. Nach § 630h Abs. 3 BGB wird vermutet, dass eine medizinisch gebotene Maßnahme, die nicht dokumentiert ist, schlicht nicht stattgefunden hat. Das kehrt die Beweissituation um. „KI-gestützte Befundanalyse eingeholt, Empfehlung kritisch geprüft, eigene klinische Beurteilung stimmt überein" ändert diese Ausgangslage fundamental. Der Unterschied ist ein Satz. Er kostet zehn Sekunden. Was er im Schadensfall verhindert, lässt sich nicht in Sekunden messen.

Vielen Dank für das Gespräch! 

Die in den Interviews dargestellten Inhalte und Aussagen spiegeln die Perspektive der Gesprächspartner wider und entsprechen nicht notwendigerweise der Position der Redaktion.