Inga Bergen (00:00.302)
Ich freue mich wirklich sehr auf die heutige Episode. Mein Gast heute ist Alena Buyx. Liebe Alena, wir haben uns tatsächlich bei einer Preisverleihung kennengelernt, bei der dein Buch nominiert war. Seitdem habe ich es – ich muss sagen – regelrecht verschlungen. Du bist Professorin, Psychologin, Soziologin. Du warst Vorsitzende des Deutschen Ethikrats und lehrst in München. Ich könnte noch eine halbe Stunde über das erzählen, was du tust. Ich würde dich als Denkerin bezeichnen – jemanden, der aus der Praxis heraus die großen Fragen stellt, die wir uns alle stellen sollten. Und ich bin wirklich froh, dass du heute mein Gast bist.

Alena Buyx (00:46.637)
Mein Gott, was für eine unglaublich nette Begrüßung! Hallo, ich freue mich sehr, hier zu sein!

Inga Bergen (00:52.542)
Ich bin froh, dass du dir die Zeit nimmst, heute dabei zu sein. Ich habe so viele Themen, die mich gerade beschäftigen. Ich würde gerne mit dem ersten Thema beginnen. Wir sind noch immer beim Thema Leben und Tod – wie wollen wir in diesen Zeiten mit all diesen Möglichkeiten sterben? Aber das erste Thema, mit dem ich gerne starten würde, ist die ganze Frage der künstlichen Intelligenz, die mich außerordentlich beschäftigt. Wir hören in der Medizin, dass KI Menschen ersetzen wird. Und jetzt sehen wir, dass es nicht so einfach ist, das zu sagen. KI kann Menschen in bestimmten Bereichen unterstützen. Du warst beim Deutschen Ethikrat. Ich würde gerne deine Einschätzung hören.

Alena Buyx (01:55.818)
Ich stimme zu, aber ich muss einhaken, weil du sagst, wir werden auf eine bestimmte Weise leben und sterben – das vierte Kapitel in meinem Buch handelt genau von diesem Thema, weil ich es für eines der zentralen Themen in der Medizin halte.

Inga Bergen (02:07.64)
Mm-hmm.

Alena Buyx (02:08.077)
Und genau diese Beobachtung ist richtig, aber auch in diesem Buch beziehe ich mich auf meine Zeit beim Ethikrat. Meine Position ist relativ nah an dem, was wir damals beim Ethikrat erarbeitet haben. Deshalb freue ich mich, dass du das ansprichst. Ich denke, du machst eine wichtige Beobachtung, denn tatsächlich ist es so: Ich beschäftige mich mit dem Thema der sogenannten künstlichen Intelligenz – wobei sich auch die Frage stellt, ob das der richtige Begriff ist, aber er hat sich nun einmal etabliert, also bleiben wir dabei – schon viel länger, als es ein großes öffentliches Thema geworden ist. Das war eigentlich das erste Mal, als ChatGPT kam, als die sogenannte generative KI aufkam und plötzlich alles total menschlich wirkte. Die Texte, die Videos – das ist wirklich beeindruckend. Und es ist einfach schneller, übermenschlich schnell.

Inga Bergen (02:52.587)
Und so wirkt es.

Alena Buyx (02:59.469)
Davor hatten wir die ersten sogenannten KI-Chatbots in den 1950er Jahren. Das war ELISA in der Psychotherapie – sehr rudimentär, aber trotzdem das Erste seiner Art. Und ich beschäftige mich damit seit vielen Jahren. Aber das waren spezialisierte Algorithmen. Sie konnten nur eine ganz bestimmte Aufgabe erledigen. Und das gelang ihnen auch schneller, manchmal besser als menschliche Fähigkeiten. Aber eben in sehr begrenzten Einzelaufgaben. Nicht diese umfassende Medizin, von der wir sprechen. Also keine vollständige Diagnose, aber beispielsweise eine bestimmte Form von Wirbelsäulenbefunden.

Inga Bergen (03:36.939)
Mm-hmm.

Alena Buyx (03:48.237)
Und das hat sich nun weiterentwickelt, und die generative KI verleiht dem Ganzen diese Sprach- und Videoebene. Aber jetzt muss man verstehen, was "ersetzen" eigentlich bedeutet. Und ich sage dir ganz offen: Meine Einschätzung ist, dass das kaum der Fall sein wird. Und ich erkläre dir das kurz. Das ist die ethische Grundformel, die wir entwickelt haben – darauf beziehe ich mich in meinem Buch und habe sie dorthin weitergetragen. Diese fantastischen, wirklich großartigen Technologien – insbesondere in der Medizin – werden uns wirklich helfen. In manchen anderen Bereichen sehe ich das wesentlich kritischer, aber wir sprechen über Medizin und Gesundheitsversorgung, und ich glaube, dass wir sie dort wirklich brauchen, sonst gerät das Ganze aus den Fugen. Wir werden dieses Potenzial nutzen können. Dafür gab es bereits 2024 den Nobelpreis für Proteinfaltung. Die Forschung wurde dadurch revolutioniert. Aber es ist eine Technologie mit Schattenseiten. Das hat der Ethikrat so gesagt, und dem stimme ich vollständig zu: Die Anwendung von künstlicher Intelligenz muss menschliche Möglichkeiten der Entfaltung und Entwicklung erhalten.

Inga Bergen (04:48.824)
Mm-hmm.

Alena Buyx (05:04.493)
Und sie müssen reduzieren – also das ist eine Art risikomindernde Abweichung: KI ersetzt Menschen. Das ist so festgehalten, auch wenn es das könnte. Ich bin nach wie vor sehr skeptisch, ob es das wirklich könnte. Wenn ich dir eine Frage in deinem Fachgebiet stelle und du mir eine wirklich überzeugende Antwort gibst, dann muss ich nicht davon ausgehen, dass sie zu 100 % falsch ist. Aber sei vorsichtig mit der generativen KI. Zumindest bei den großen Sprachmodellen, die derzeit nicht spezifisch für das Gesundheitswesen entwickelt wurden, dort, wo viele Menschen ihre Gesundheitsinformationen beziehen – diese Fehlerquoten haben sich nicht verbessert, sie werden schlechter, und je menschenähnlicher das Ganze wirkt, desto höher werden sie. Wir müssen also vorsichtig sein. Es sieht menschlich aus. Es ist viel schneller als menschliches Denken. Man könnte sich selbst darin verlieren.

Inga Bergen (05:49.08)
Mm-hmm.

Alena Buyx (05:54.573)
Und du nimmst eine Position ein. Und dann bekommst du eine Antwort. Aber die ist wahrscheinlich besser, viel besser als das, was das Gerät liefert. Wir befinden uns also an einem sehr interessanten Punkt in der Entwicklung, und es gibt eine ethische Überlegung dazu, was wir eigentlich tun sollten. Das ist etwas anderes als das, was wir bereits können oder was die Technologien leisten können. Was sollten wir tun? Das ist entscheidend.

Inga Bergen (06:12.472)
Mm-hmm.

Inga Bergen (06:20.622)
Das finde ich sehr spannend. Vor einigen Monaten habe ich einen Gastbeitrag für die Süddeutsche Zeitung geschrieben. Der Anlass war ein Video, das ich auf TikTok gesehen hatte – von einem Arzt in der Notaufnahme, der mit einem Patienten ChatGPT konsultiert und versucht, irgendwie zu einer Diagnose zu kommen oder Hilfe zu finden. Aber das Video, das ich sah, war ein Reaktionsvideo, bei dem Menschen ihren Kopf in zwei Hälften zeigen und darauf reagieren. Es war ein Medizinstudent, und er sagte: Es ist absolut richtig, dass er das tut, weil er keinen Plan hat und überall suchen muss, wo er kann, um dem Menschen zu helfen. Und ich denke, das ist eine spannende Frage, denn ich würde mich selbst als Cyborg Level eins bezeichnen, weil ich fast nichts ohne KI mache. Ich nutze KI also intensiv, hinterfrage das aber natürlich auch.

Alena Buyx (07:34.541)
Ich muss dich hier kurz unterbrechen, denn alle springen sofort zur nächsten Frage. Bevor es weitergeht, ist da noch mindestens eine ebenso wichtige. Du sagst, du nutzt KI – ich auch, und viele Menschen tun das, und du hinterfragst das, aber du bist in der Lage, das einzuordnen, weil du ein bestehendes Fachwissen, Erfahrung und auch Praxis mitbringst. Weil du...

Inga Bergen (07:46.296)
Mm-hmm.

Alena Buyx (08:00.749)
Wenn du etwas schreibst, befasst du dich damit – du kannst etwas aufgreifen, das du gelernt hast. Das sind genau dieselben Voraussetzungen. Die erfahrene Ärztin oder der erfahrene Arzt in der Notaufnahme kann ChatGPT grundlegend einschätzen, weil er oder sie sehr Allgemeines erkennt. Also würde ich ChatGPT nicht in die Notaufnahme-Erfassung einführen. Aber es gibt spezifisch auf die Medizin zugeschnittene Werkzeuge, die gibt es – sowohl auf der Basis von ChatGPT als auch darüber hinaus. Usw. usf. Die spezifischeren Werkzeuge, die verwendet werden, machen die Informationen gehaltvoller. Ich habe 25 Patienten und das Haus brennt. Das ist besser als nichts. Aber eine erfahrene Ärztin kann einschätzen, wenn etwas kompletter Unsinn ist. Eine erfahrene Ärztin kann verschiedene Dinge gleichzeitig abwägen und sie vor dem Hintergrund ihrer klinischen Expertise, ihrer Erfahrung und Praxis einordnen – genauso wie du. Der Medizinstudent hat das nicht. Auch deine Freiwilligen haben das nicht. Wie ermöglichen wir ihnen, das überhaupt erst zu entwickeln? Damit sie es einschätzen, einordnen und vor dem Hintergrund einer Expertise, einer Erfahrung und einer Praxis bewerten können?

Alena Buyx (09:30.045)
Und das ist, glaube ich, eine Frage, die nicht trivial ist. Wir sind jetzt an dem Punkt, wo erfahrenere Menschen das Ganze begeistert aufgreifen und sagen, das ist total großartig. Wenn die nächste Generation kommt, hat sie nicht gelernt, was wir gelernt haben. Das bedeutet, wir müssen eine tiefgreifende Veränderung in unserer Ausbildung vornehmen. Und das sehe ich noch nicht. Deshalb kommen wir zur Frage, wer hier vorausspringt. Mein Gott, was ist das Menschliche? Was ist... Warte mal kurz. Das Entscheidende, das jeder Beruf, der irgendwie etwas produziert, zu bieten hat:

Inga Bergen (09:56.974)
Danke.

Alena Buyx (10:08.109)
Dinge, die der Beruf verantwortungsvoll und ordentlich zu einem Ergebnis führt. Und wenn das bereits untergraben wird – und das ist durch den Einsatz dieser Technologie sichtbar –, dann muss man zunächst dort ansetzen. Also, die zweite Frage.

Alena Buyx (10:28.653)
Das ist wirklich wichtig. Es ist bereits Realität. Und man kann noch viel mehr darüber philosophieren, was spezifisch menschlich ist und was wir festhalten wollen. Ich sage: Wir sind bereits dort angelangt. Es tut mir leid, dass ich vorgegriffen habe, aber ich wollte nur sagen: Es gibt bereits Studien, die zeigen, dass Ärzte, die künstliche Intelligenz als Entscheidungsunterstützungssysteme einsetzen, in ihrem Alltag schlechter werden.

Inga Bergen (10:54.798)
Ja.

Alena Buyx (10:54.861)
Als jene, die das nicht tun. Natürlich schneiden sie mit den Systemen besser ab. Das ist ein echtes Dilemma, denn wir wollen, dass sie die Technologie nutzen – sie spart Zeit, sie steigert die Produktivität. Und wie gesagt: Wenn man das verantwortungsvoll einsetzt, ist das mit den allgemeinen Modellen noch nicht möglich. Aber wenn man gut trainierte Werkzeuge verwendet, ist es großartig. Nur wenn man sie unkritisch überlässt, wird man schlechter. Es gibt also eine De-Qualifizierung. Das ist bereits empirisch belegt. Man stelle sich nun vor, Menschen arbeiten überhaupt nicht mehr ohne die Werkzeuge, und dann erleidet jemand einen Schlaganfall im Krankenhaus – oder die KI dreht durch. Und wir wissen, dass die KI dreht, weil eine KI – und auch das: Der Ausschuss dazu hat – kein Bild von der Welt hat. Kein Bewusstsein. Keine im vollen Sinne...

Inga Bergen (11:46.573)
Mm-hmm.

Alena Buyx (11:50.605)
Wirklich umfassende Intelligenz, die eine Situation in ihrer gesamten Komplexität erfasst. Und genau deshalb ist das das Allererste, was ich mir wirklich wünsche. Ich laufe herum und erzähle das dem gesamten Berufsverband. Schaut auf eure Lehrpläne, schaut auf eure Ausbildungen. Wie gestalten wir das? Weil der Ethiker das im Einzelfall tut, aber die Menschen müssen sich selbst darum kümmern.

Inga Bergen (12:08.462)
Okay.

Inga Bergen (12:15.566)
Lass uns kurz innehalten, denn das ist wirklich ein außerordentlich spannender Punkt. Für mich gilt: Ich kann mir vorstellen, dass KI, so wie sie heute ist – sie hat kein Kontextwissen, sie hat keine sensorische Weltwahrnehmung wie wir –, sich durch humanoide Robotik verändern kann. Da kann noch viel mehr kommen.

Alena Buyx (12:35.693)
Warte mal, da möchte ich zurück – der Ethikrat hat dazu 200 Seiten verfasst. Das ist nach wie vor äußerst umstritten, und die meisten Menschen sagen erneut, dass sie ein Bild von der Welt haben. Denn selbst wenn man einem humanoiden Roboter einen Körper verpasst, hat man keine Erfahrung mit diesem Körper. Man hat keinen lebenden Körper. Man hat keine Emotionalität, keine echte Emotionalität. Emotionalität entsteht aus hormonellen Regelkreisen, die auf unserer Genetik, Physiologie und Biochemie in der Interaktion mit der Welt aufbauen. Wir bauen auf unserem Bewusstsein auf. All das gehört zusammen. Wie willst du das in den nächsten 50 Jahren ernsthaft nachbilden? Wir haben das jahrelang unterschätzt, und das macht mich wahnsinnig – diese Debatten darüber, was wir als Menschen können. Und wir tun es so, als würden wir es einfach wegschneiden, weil Elon Musk sagt, wir werden bald eine Million humanoide Roboter haben. Ich sage: Ja, bravo. Das sind Maschinen mit einem Algorithmus darin. Das hat nichts...

Inga Bergen (13:21.902)
Aber was können wir damit machen?

Alena Buyx (13:32.909)
Nichts zu tun mit der Idee, dass das eine echte Wahrnehmung, eine Intelligenz ist, die aus unserer menschlichen Balance erwächst. Und ich wünsche mir, dass wir viel selbstbewusster auf das blicken, was wir haben und was wir können. Und damit sind wir schon bei deiner zweiten Frage.

Inga Bergen (13:50.925)
Ja, genau. Das war nur ein Punkt. Wir sind bereits bei dem großen Rat. Ich war einmal Unternehmensberaterin und habe stunden- und nächtelang PowerPoint-Präsentationen erstellt und Dinge zusammengefasst. Und die großen Beratungen haben auf Einstiegsebene deutlich weniger zu tun, weil man das nicht wirklich mehr braucht. Und wenn ich jetzt auf das Gesundheitswesen schaue, dann denke ich...

Alena Buyx (14:11.617)
Mm-hmm.

Inga Bergen (14:22.574)
Es gibt sehr viele Hinweise, dass wir es nicht wirklich wertschätzen. So ist beispielsweise die operative Diagnostik sehr gut geplant, was dazu führt, dass Menschen, die sich im Sterbeprozess befinden, im Krankenhaus wieder nach hinten gedrängt werden, anstatt mit ihnen zu sprechen, sich Zeit zu nehmen, ihnen zuzuhören. Es gibt also viele Anzeichen, dass wir es nicht wirklich so viel wertschätzen. Wenn wir schauen, welche Berufe gut dastehen, dann sind das eigentlich all jene, die in der Pflege tätig sind, wo die Arbeit mit Menschen im Vordergrund steht. Sie werden nicht gut bewertet, und ich finde das so interessant, weil Menschen das irgendwie oft als selbstverständlich betrachten. Aber das ist etwas, das sich entwickelt hat, was wir geschaffen haben, was wir so entschieden haben. Und wir nähern uns jetzt dieser Frage, und ich möchte eine Hypothese formulieren – sie ist sehr gewagt, aber ich spreche sie aus. Ich hatte eine Krebserkrankung und dachte, das ist mein Ende. Ich habe ein KI-Startup gegründet, wir machen Diagnostik in der Onkologie. Wir haben auch eine KI-Komponente oder ein neuronales Netz, aber wir nennen es KI, weil mir das Investorengelder einbringt.

Alena Buyx (15:34.913)
Na klar.

Inga Bergen (15:35.791)
Und dann habe ich all diese Zweitmeinungen von so vielen Koryphäen im medizinischen Bereich eingeholt. Und das war wirklich so – am Ende wusste ich, dass ich wirklich weg musste, weil ich aus diesem Gespräch herausmüsste, da es immer so wenig einfühlsam und eigentlich so schrecklich für mich als Patientin war. Und als ich dann mit einer – Frauen im System waren irgendwie immer etwas besser, ich muss das so sagen, meine persönliche Erfahrung, anekdotische Evidenz, bestenfalls –, und das waren diese Pflegekräfte, die in Kommunikation ausgebildet waren, da fragte ich mich: Brauchen wir noch diese Koryphäen, die das gesamte Wissen besitzen, oder kommen wir zu einer solch großen Transformation hin zu diesen tiefen menschlichen Fähigkeiten? Und das ist mein letzter Satz. Ich frage das als persönliches Thema: Sam Altman hat einmal gesagt, er fürchtet sich vor einer Generation, die keine Entscheidung mehr ohne ihre KI trifft. Aber was die KI nicht leistet, ist ein ruhiges Vertrauen. Sie liefert Informationen. Man kann sie endlos befragen, aber wenn man eine medizinisch brennende, lebensbedrohliche Frage hat, braucht man diesen Moment. Also übergebe ich jetzt an dich.

Alena Buyx (16:54.157)
Das waren ziemlich viele Fragen. Das waren wichtige Fragen. Und ich gebe dir tatsächlich Recht, dass ich auf sie eingehen sollte. Ich denke, das ist eine der Hauptfragen – wie wir neu organisieren. Und ich sage vorab: Mein größter Wunsch ist eine erfolgreiche Transformation, eine erfolgreiche Integration dieser...

Inga Bergen (16:57.015)
Ja.

Alena Buyx (17:18.925)
Ich möchte nicht als jemand wahrgenommen werden, der diese Technologien ablehnt. Diese Technologien sind großartig. Ich wünsche mir eine erfolgreiche Integration, bei der Menschen von vielen sinnlosen Tätigkeiten befreit werden, die sie vom Patienten fernhalten.

Inga Bergen (17:32.366)
Mm-hmm.

Alena Buyx (17:39.617)
Die Analogie dazu sind endlose Excel-Tabellen und PowerPoints. Man kann menschliche Intelligenz viel besser und zielgerichteter einsetzen. Vieles, das traditionell in menschlichen Händen lag, fällt weg. Aber man kann Wege finden, die Maschine zusammen mit den besonderen Fähigkeiten von Menschen einzusetzen. In der Medizin ist das noch offensichtlicher. Ich sage immer, dass die Medizin ein "Low-hanging fruit" für die Integration von KI ist. Wir haben 40 % Verwaltungsaufwand. Und das gilt nicht nur für Ärzte, sondern auch für das Pflegepersonal. Und ich sage das jetzt kurz. Die gesamte Debatte in einem Satz von Eric Topol – du kennst ihn, er ist einer der großen Vordenker der personalisierten Medizin, der sich nun mit Technologie und insbesondere KI-Technologie in der Medizin beschäftigt –, und er sagt: Was wir brauchen, ist Bildschirmbefreiung. Wir brauchen die Befreiung der medizinischen Berufe.

Alena Buyx (19:10.000)
Von all dem Zeug, das sie vom Patienten fernhält. Von den sieben Minuten, die man beim Arzt in der Praxis hat, schaut man vier Minuten auf den Bildschirm. Wenn der Patient draußen ist, muss man nochmal vier Minuten nacharbeiten. Das sind diese Dinge, die mit künstlicher Intelligenz bewältigbar sind. Man stelle sich vor, nur die Hälfte dieser Zeit würde frei. Dann haben wir die Koryphäe, die wir unbedingt brauchen. Wir brauchen die Koryphäen, aber diese Koryphäe, dieser Mensch, hat mehr Zeit für ein Gespräch. Und wenn er oder sie geeignet ist, kann er andere beauftragen, die das können. Das erfordert – und wir sind damit an einem weiteren sehr spannenden Punkt, den du angesprochen hast –, dass wir tatsächlich mehr wertschätzen, dass wir Pflege und nicht wie in der Beratung – absolut, ich sage das zuerst –,

Inga Bergen (19:30.669)
Mm-hmm.

Alena Buyx (19:34.253)
In wirtschaftliche und ökonomische Maximierungsstrategien zu gehen, auf welche wirtschaftlichen Ergebnisparameter auch immer zu schauen, aber wir bewegen uns in einem Bereich, in dem es um Menschen geht. Und was ist das, was Frauen tun – und das sind Berufe, insbesondere dort, wo die Fürsorge besonders stark ausgeprägt ist –, die schlechter bezahlt werden und deren Leistung geringer geschätzt wird. Die KI zeigt uns jetzt: Vielleicht ist das eine falsche Gewichtung. Denn was wir im Gesundheitssystem brauchen, sind Menschen, die sich um andere kümmern – und das auch medizinisch. Also geht es nicht um Handarbeit, nicht nur um weiche Themen, nicht nur ums Reden, sondern um eine Interaktion mit dem Patienten vor einem. Das kann im Operationssaal stattfinden, wenn er im Bett liegt. Aber es geht um den...

Inga Bergen (20:06.946)
Mm-hmm.

Alena Buyx (20:30.93)
Zentralen Akt in der Medizin: den Patienten, der einem gegenübersteht. Deshalb ist es ein "Low-hanging fruit". Es ist viel einfacher. Man richtet sich immer nach dem Wohl des Patienten. Fertig. Das Grundprinzip steht in allen medizinischen Regularien. Das ist also nichts, was die Ethikerin irgendwie erdacht hat. Es kommt aus der Medizinethik heraus, es ist auch rechtlich verankert. Und wir könnten das anpassen. Wir haben uns ein wenig davon entfernt. Ich hoffe, dass zum Beispiel die Gesetze sich ändern, die Abrechnungssysteme sich ändern. Ich sehe an vielen Stellen in unserem Haus, aber auch an vielen anderen Stellen, dass die ersten Werkzeuge entstehen, die all den sehr aufwändigen, sehr redundanten und, sagen wir mal, wahnsinnigen Verwaltungskram übernehmen. Das ist absolut großartig. Darf ich ein Beispiel geben?

Inga Bergen (21:13.506)
Ja.

Inga Bergen (21:22.968)
Mm-hmm.

Inga Bergen (21:25.000)
Ja, natürlich.

Alena Buyx (21:31.373)
Ein Werkzeug, das viele Menschen nutzen, das sorgfältig trainiert wurde – also kein irgendwie zusammengebasteltes ChatGPT, sondern wirklich spezifisch trainiert – ist eine Sprachaufzeichnung von Patientengesprächen, die transkribiert, also wenn man so will, ein Protokoll erstellt. Das ist klassische KI, viele kennen das von Zoom oder ähnlichen Diensten. Das ist inzwischen sehr weit entwickelt. Und daraus entsteht nicht nur eine Art Arztbrief, sondern es agiert auch direkt agentisch.

Inga Bergen (21:41.091)
Mm-hmm.

Alena Buyx (21:57.197)
Wenn es funktioniert – das ist der neueste heiße Scheiß –, dass man agentische KI hat, die bestimmte Aufgaben mit anderen KIs und anderen digitalen Technologien übernimmt. Und wenn man das und sein Krankenhausinformationssystem koppelt, innerhalb des geschützten, also datenschutzrechtlich konformen Rahmens, den man hat, muss alles dort vorhanden sein. Man hat dann ein Werkzeug, das nach dem Gespräch mit dem Patienten – wenn man als Arzt fragt: Wie machen wir das? Wann machen wir diesen Termin? Wann machen wir das? – Zeit kostet. Man muss es diktieren. Es kostet immer Zeit, nicht wahnsinnig viel, aber in der Summe. Und so bekommt man im Nachgang das Transkript, gut strukturiert, und die Terminorganisation gleich dazu. Also wenn man im Gespräch festhält, dass wir dieses, dieses und jenes brauchen – zack, zack, zack –, erledigt die KI das damit. Ja, stell dir vor, wie das entlastet. Wie viel Zeit das einem Arzt, den Pflegekräften schenkt. Und das ist nur ein Werkzeug von vielen. Und ich habe das schon seit Jahren vorhergesagt. Ich habe so eine kleine Anekdote. Als ich an die TUM kam – das war noch vor der generativen KI –, kam ein Entwickler zu mir mit leuchtenden Augen und sagte, er habe etwas. Es ging um natürliche Sprachverarbeitung, und das war wirklich gut. Und er sagte, ich habe das Protokoll der psychischen Gesundheitsversorgung. Ich baue daraus einen Algorithmus und entmutige ihn damit völlig. Ich fragte: Was? Kannst du nicht einen Algorithmus entwickeln, der die verdammten Arztbriefe schreibt? Anstatt in die psychische Gesundheitsversorgung zu gehen, wo es um Menschen in existenziellen Krisen geht, die vielleicht sterben, wo es um psychische Gesundheitsversorgung in diesem absolut außergewöhnlichen Moment von Leben und Tod geht und die dich begleitet. Du willst das protokollieren? Bitte geh in den Verwaltungsquatsch. Und genau das passiert jetzt. Und deshalb bin ich so zuversichtlich, dass wir diese Bildschirmbefreiung bekommen können, hoffentlich Pflege, wie du gesagt hast, und eine halbwegs gute Integration.

Inga Bergen (24:03.309)
Ja.

Alena Buyx (24:16.173)
Die uns wirklich voranbringen kann.

Inga Bergen (24:18.862)
Und ich denke, auch wenn wir über Bildung sprechen, gibt es noch einen weiteren Punkt, nämlich die richtigen Fragen kontextorientiert zu stellen. Denn ich bemerke, seitdem ich ChatGPT und Claude nutze, dass ich mich wie ein Erwachsener verhalte. Ich finde es sehr interessant, dass meine verschiedenen LLM-Werkzeuge verschiedene Persönlichkeiten haben. Dass ich mir viel bewusster bin, welche Rolle ich von meinem LLM erwarte. Was genau tut es für mich? Wie soll das Ergebnis aussehen? In welcher Form? Und welche Fragen möchte ich stellen – und ich gehe in eine Interaktion. Und ich finde das für die Medizin sehr, sehr spannend, besonders in Bereichen, wo es kompliziert ist. Wenn wir uns seltene Erkrankungen ansehen, Diagnosen, die nicht so einfach sind, oder wo so viel Innovation stattfindet oder so viel Wissen vorhanden ist, dass es für jemanden, der in der Praxis tätig ist, in dieser Form sichtbar ist, auf dem neuesten Stand zu bleiben. Wie macht man das? Wie ist die Interaktion mit KI als medizinisches Unterstützungssystem, bei der Diagnostik, der Therapie, bei der Frage, was kann ich sekundärpräventiv oder begleitend tun, wie kann ich eingreifen? Wie gestaltest du die Aufgabe und die Interaktion?

Alena Buyx (25:56.845)
Bitte nimm es nicht übel, aber sicher nicht so wie du. Denn du bist jemand, der einmal ein KI-Startup gegründet hat. Wenn du beschreibst, wie du KI nutzt, dann ist das ein 5-%-Phänomen. Denk daran, reflektiere so viel Verständnis für das, was diese Technologien leisten, welche es gibt, was sie können und was sie nicht können – das sind 5 %.

Inga Bergen (26:02.04)
Ja.

Inga Bergen (26:20.258)
Mm-hmm.

Alena Buyx (26:26.733)
Du bist die Spitze. Du bist die Ausnahme. Entschuldige, dass ich das so klar sage.

Inga Bergen (26:31.86)
Man muss sich das bewusst machen.

Alena Buyx (26:33.005)
Ja, solche Produkte sind nicht möglich. Und das ist das, was im Moment passiert. Menschen werden erwartet zu navigieren, als wären sie alle zu 5 %. Das ist eine Dummheit – ich sage es mal so. Diese Instrumente haben die Welt als eine etwas bessere Version von sich selbst. Also 30 bis 40 % Fehlerquelle. Das glaube ich nicht. Wir fahren mit dem Auto durch die Gegend. Dann haben sie...

Inga Bergen (26:36.675)
Mm-hmm.

Alena Buyx (26:59.245)
In einer bestimmten Situation, weil sie uns etwas zeigen, das wir alle mögen, und jetzt müssen wir als Gesellschaft damit umgehen. Die Unternehmen haben sich mehr oder weniger vollständig – abgesehen von Anthropic – von der Verantwortung zurückgezogen und bringen eine Version nach der anderen heraus. Sie zeigen uns seit Jahren, jetzt drei Jahre, wie die Entwicklung aussieht – sozusagen live und in Farbe, in unserer besseren Version, die wir alle immer noch ausprobieren –, und erzählen uns die ganze Zeit, dass wir toll sind, und die Fehler sind nicht besser geworden. Manchmal sogar schlimmer. Das möchte ich so sagen, aber es wird erwartet, dass man damit so umgeht und navigiert, als wäre man wie du. Und die Menschen sind das nicht. Es gibt viele Studien, die zeigen, dass es einen Automatisierungsbias gibt. Menschen glauben der KI einfach, was sie sagt. Es gibt auch Versionen und Modelle und so weiter. Das macht eine bestimmte Gruppe, aber die meisten tun es nicht. Also befinden wir uns jetzt...

Inga Bergen (27:54.799)
Ich denke, ich denke eigentlich nicht an solche Modelle. In meinem Podcast hatte ich den Gründer von AMBOSS als Gast, der ein Produkt entwickelt, und den Gründer von Professor Walmeet, das ebenfalls ein Medizinprodukt in Deutschland ist. Eine KI zur Unterstützung von Diagnose und Therapie. Und das sind auch zertifizierte KI-Produkte.

Alena Buyx (28:03.809)
Mm-hmm.

Alena Buyx (28:21.325)
Darüber möchte ich reden. Das ist es, was ich sagen wollte. Ich wollte nur dazu kommen. Nur du nennst ChatGPT und Claude. Entschuldigung. Das ist ein Beispiel. Deshalb musste ich das sagen. Denn das ist es, was die meisten Menschen nutzen. Wir reden nicht nur über Fachpersonal, sondern auch über Patienten. Aber ich möchte zum Fachpersonal sprechen. Das ist also der Grund, warum ich gerade sagte, dass ChatGPT nicht in die Notaufnahme-Erfassung gehört. Jetzt gibt es die Werkzeuge, von denen du gerade gesprochen hast,

Inga Bergen (28:26.456)
Das ist mein Beispiel. Das stimmt.

Alena Buyx (28:50.669)
die spezifisch entwickelt sind, die großen Sprachmodelle als Infrastruktur nutzen, keine Frage, aber die trotzdem spezifisch entwickelt und dann erneut trainiert wurden. Und nebenbei – ich bin beim Lehrstuhl. Wir machen das auch, gemeinsam mit Helmholtz und so weiter. Ich liebe das. Denn da passen wir es wirklich spezifisch für das Gesundheitssystem an. Wir müssen jetzt nicht in die technischen Details gehen, aber für einen bestimmten Bereich stellt man sicher, dass man es wirklich versteht, dass man Transparenzmechanismen hat, Evidenz, Henker, da ist alles Mögliche, man kann tolle, durchdachte Dinge gestalten. Und so sollte es sein. Denn dann kann ich mich darauf verlassen. Besonders wenn es um den deutschen Markt geht, bin ich nicht mehr bei den 5-%-Nutzern, die eine bessere Version haben,

Alena Buyx (29:30.000)
sondern ich möchte die Endversion haben. Das ist alles, was ich möchte. Und ich sehe großartige Entwicklungen. Siehst du, ich schwanke hin und her, und das ist wichtig, weil man unterscheiden muss. Ich schwanke hin und her zwischen der allgemeinen Nutzung, die in der Welt stattfindet, die aber viele Menschen für medizinische Zwecke nutzen, und der spezifischen Nutzung spezifischer Werkzeuge. Und da bin ich. Also: Wie mache ich das? Ich stelle mir vor, dass ein verantwortungsvoll entwickeltes medizinisches Produkt auf den Markt kommt, das ich nutze. Ich nutze es als Medizinprodukt in Deutschland. Ich kann mich darauf verlassen. Der Hersteller hat sich gedacht, was dort passiert. Es gab eine Risikoabwägung. Ich habe Evidenz dafür, wie ich es anwende. Technisch sind Dinge eingebaut, die Fehler abfangen usw.

Alena Buyx (30:20.000)
Und die Verantwortung liegt nicht vollständig bei mir. Denn die Frage, die sich immer stellt: Was passiert, wenn es einen Vorschlag gibt, der vielleicht falsch ist – das wird nie vollständig zu vermeiden sein. Das ist, glaube ich, dasselbe wie bei anderen Technologien auch. Menschen machen Fehler. Wenn das also in der Fehlerquote liegt, wo man sagen kann, das ist nicht riesig und das ist kein völlig absurder Fehler, und ich habe Warnsysteme –

Alena Buyx (31:05.837)
also muss das Gerät verantwortungsvoll gestaltet sein. Dann können Ärzte es grundsätzlich genauso einsetzen wie andere Technologien. Aber das ist nicht der Wilde Westen, den wir im Moment haben, sondern das sind die Werkzeuge, die wirklich für das Gesundheitssystem entwickelt werden. Und davon gibt es einige großartige.

Inga Bergen (31:29.294)
Das kann ich nur unterstreichen für alle, die diesen Podcast hören – besonders wenn man mit Ärzten spricht, die ihr privates Mobiltelefon nutzen, ihr privates Mobiltelefon, weil die Organisationen ein bisschen zu langsam in der Anpassung sind oder es sich oft nicht trauen. Und man kann wirklich nur sagen: Traut euch, findet eine Strategie, löst dieses Problem. Es ist zum Wohl aller Beteiligten am Ende, wenn wir diese zugelassene KI in die Praxis bringen.

Alena Buyx (32:01.665)
Das ist so wichtig. Hast du das bemerkt? Du hast es sicher bemerkt bei Google, das wieder zurückgekehrt ist. Denn es gibt Konkurrenzangebote. Google geht beispielsweise massiv in den Gesundheitssektor. Das hat viele Vorteile. Sie haben eine unvorstellbare Datenbasis. Sie hatten ein Werkzeug, bei dem es sich um sogenannte crowd-gesourcte Gesundheitsinformationen handelte. Also was andere im Internet sagen. Denn da besteht ein Bedarf – ja, warte, du rollst die Augen, aber da besteht ein Bedarf für viele Menschen –, dass die Koryphäen kommen und zu einem Gespräch einladen, wo man sich erholen kann, wie du gerade gesagt hast, aber dass jemand viel Zeit für einen hat, was das Großartige an der KI ist, man kann Dinge total empathisch aufarbeiten, simuliert natürlich, nicht echt, aber einfach so tut, als ob Empathie da wäre, und einfach so wie andere. Man spricht gerne mit dem Nachbarn über seine Krankheit. Alle tun das gerne. Das wissen wir aus Studien. Das ist normal. Und das ist großartig. Man hat eine Nachbarschaft, die weltweit groß ist. Na klar, dabei stellt sich heraus, dass 90 Prozent davon Unsinn sind. Es gibt TikTok, das zeigt, dass 3 Prozent der Gesundheitsinformationen korrekt sind. 97 Prozent sind irgendwie falsch. Stell dir das vor. Das Netz ist voll von Unsinn. Ich muss das so klar sagen.

Inga Bergen (33:02.293)
Du hast Recht.

Alena Buyx (33:24.525)
Und deshalb ist es so wichtig, dass wir ein bisschen sorgfältiger sind als in anderen Bereichen. Aber wir können das in der Medizin. Ich weiß, dann kommen die: Oh, die Bremser kommen wieder mit Regulierungen und dies und das. Also ich bin eine derjenigen, die immer sagen: Wir haben es in der Medizin fast zu streng und zu viel und machen es zu kompliziert und sind zu langsam. Ich bin absolut dabei. Das ist leider wirklich schlecht.

Inga Bergen (33:48.419)
Ja.

Alena Buyx (33:54.925)
Trotzdem können wir davon nicht wegkommen, dass es in unserem Bereich, in dem es um Menschen geht, um Leben und Tod, um Existenzielles, sehr ernst genommen werden muss. Das ist nicht die nächste Software zum Schuheeinkaufen, sondern wir müssen ein bisschen mehr tun als in anderen gesellschaftlichen Bereichen. Und irgendwie schaffen wir das. Es gibt auch viele gute Vorschläge – Stichwort Bürokratieabbau, auch in der Medizin und Wissenschaft. Es gibt großartige Vorschläge der Max-Planck-Gesellschaft und anderer wissenschaftlicher Organisationen, auch in Bezug auf die Klinik. Was kann verbessert werden? Und auch in der medizinischen Forschung und an dieser Schnittstelle: Wie kann ich medizinische Technologien in die Versorgungskette integrieren, sodass es schneller, schlanker geht, ohne dass wir diese Verantwortung aufgeben?

Inga Bergen (34:47.349)
Ja, das finde ich einen sehr spannenden Punkt. Ich habe noch so viele Themen, die ich mit dir besprechen möchte, aber für die wir keine Zeit mehr haben. Deshalb möchte ich noch ein letztes Spektrum dieser gesamten Diskussion ansprechen, das mir am Herzen liegt. Und das ist die Rolle der Patienten. Du hast gerade gesagt, dass die Interaktion mit KI-Werkzeugen, wie diesem crowd-gesourcten von Google, wie etwas, mit dem man sich austauschen kann und das viel Zeit nimmt. Ich habe kürzlich darüber nachgedacht: Wenn alle deine Kinder mit KI aufwachsen und die KI sich acht Stunden lang über Bob den Baumeister unterhalten kann, macht das niemand.

Alena Buyx (35:27.307)
Nein.

Inga Bergen (35:30.32)
Und für mich ist es auch ein bisschen eine Chance, wenn wir es richtig machen, Menschen besser zu befähigen, ihre Gesundheit selbst in die Hand zu nehmen, und auch Wege zu finden, Zeit zu nutzen, Fragen zu stellen. Aber natürlich nur, wenn die Informationen validiert sind und nicht aus Reddit stammen, wo ich jetzt die Onko-Community sehe, wo es immer sehr schlimm ist. Das kenne ich aus meiner eigenen Patientengeschichte.

Inga Bergen (36:02.493)
Es ist schlimmer als mit einem schaurigen Gesicht. Das alles sollte man nicht tun. Deshalb sehe ich es kritisch. Aber wie siehst du diese Rolle? Es ist auch interessant, wenn ich an das Machtverhältnis denke. Dann geht es nie gut aus.

Alena Buyx (36:10.029)
.

Inga Bergen (36:25.006)
oder Hierarchie zwischen Patient und Arzt. Was sind die Auswirkungen?

Alena Buyx (36:35.597)
Also, das hat gute und schlechte Seiten. Die schlechten liegen auf der Hand. Es ist nicht hilfreich, wenn ein Algorithmus einem immer sagt, was man hören möchte. Es ist sogar krankheitsfördernd. Es gibt diesen absolut großartigen Fall, der in den Annals of Internal Medicine erschienen ist, glaube ich. Also ein sehr hochkarätiges Fachjournal – von dem Mann, der mit einer Fluorid-Psychose in der Notaufnahme erschien. Er hatte mit ChatGPT gesprochen, weil er irgendwas beheben wollte. Er fragte, was er dagegen tun könne, und ChatGPT sagte: Bromisalsalz. Das ist – das ist so gut beschrieben. Und dann sprachen sie darüber, wie er anstatt NaCl, also normalem Kochsalz, überall Bromsalz verwendete. Und Brom ist nicht so gut für die psychische Gesundheit. Es verursacht eine handfeste Psychose. Und so landete er in der Notaufnahme. Das ist natürlich ein Extremfall, der irgendwie lustig, aber auch lehrreich ist. Diese Dinge haben kein Bild von der Welt. Das ist kein Wesen, das etwas Gutes mit einem will – auch nichts Schlechtes –, das ist ein Algorithmus, der so programmiert ist, dass man auf der Plattform bleibt. Punkt. Und das muss man sich bewusst machen. Wenn man sich das bewusst macht, dann... Aber nochmal: Man braucht eine unglaubliche Nutzerkompetenz, und ich fürchte, ich irre mich nicht. Ich glaube nicht, dass das zu allem dazugehört. Ich glaube, man kann Werkzeuge entwickeln, die spezifisch als Beziehungs-KI fungieren. Ich denke auch...

Alena Buyx (38:00.000)
Man könnte das sogar für deinen eigenen Podcast einsetzen. Aber dann ist es zumindest so, was auf der Verpackung steht. Also es steht drauf, dass es eine Beziehungs-KI ist, und hier geht es darum, dass man sich umhüllt fühlt, plaudert, auf freundliche Weise, sexuell – Escort oder so. Auch das: viele Herausforderungen, da gibt es Kinder und so weiter. Manchmal braucht man einen Rücken. Was auch immer. Dann ist es ein Produkt, das das spezifisch leistet.

Alena Buyx (38:32.717)
Aber die KI da draußen – und auch die in der Medizin – ist immer darauf programmiert, einen möglichst lange auf der Plattform zu halten. Das wirkt für uns Menschen. Lächeln, zumindest auf Augenhöhe, wenn nicht mehr. Das ist die beste Frage überhaupt. Es ist so klug, dass du das fragst. Ich bin wirklich beeindruckt, dass du so denkst. Das weißt du doch, oder? Verrückt. Warum?

Inga Bergen (38:55.988)
Ja.

Alena Buyx (39:02.189)
Es gibt keinen Grund, außer dass man möchte, dass die Menschen möglichst lange auf der Plattform bleiben. Man könnte es auch viel neutraler gestalten. Das sind Entscheidungen. Und das bringt mich zum ethischen Kernpunkt. Wie diese Werkzeuge interagieren, ist kein Nachgedanke. Es ist wesentlich. Es ist Teil des Werkzeugs. Es ist Teil des Designs und Teil des Produkts. Und gerade in der Medizin plädiere ich für eine neutrale Form der Kommunikation. Ich bin überzeugt, dass man auch die Stickiness überprüfen und dagegen arbeiten sollte. Medizinische Produkte sollten nicht so sein, dass Menschen so viel Zeit damit verbringen. Das widerspricht dem Geschäftsmodell. Verstehst du? Also muss man das so programmieren, dass man nicht programmieren will, weil das Werkzeug dadurch weniger klebrig wird.

Inga Bergen (39:51.512)
Ja, total. Guter Punkt.

Alena Buyx (39:57.653)
Ich würde sagen, dass in der Medizin die Stickiness nicht verloren hat. Ich denke, man kann Stickiness haben – für diejenigen, die den Begriff kennen: Das bedeutet diese Klebrigkeit, dass man möglichst lange bleibt. Und das ist etwas, das sehr intensiv bedacht werden sollte, aber in der Medizin hat es einfach noch nicht verloren. Und du weißt genauso gut wie ich: Entweder wird es nicht spezifisch bedacht, und es ist irgendwie drin, oder die Stickiness ist natürlich drinsteckt.

Inga Bergen (40:23.18)
Und.

Alena Buyx (40:25.771)
Und das finde ich wirklich herausfordernd, und ich wünsche mir, dass sich das ändert.

Inga Bergen (40:30.094)
Ja, ein wirklich guter Punkt, den ich in dieser Form noch nicht gehört hatte. Aber wir brauchen diese Werkzeuge auch für die Patientensicherheit, für das gesamte medizinische Personal, das sich wirklich mit Qualitätssicherheit beschäftigt und das mit diesen ethischen Fragen konfrontiert ist – und an ihrer Struktur arbeitet. Das ist wirklich eine superspannende Idee. Liebe Alena, ich muss dir ein Kompliment machen – es war ein großes Vergnügen, mit dir zu sprechen. Ich habe einige allgemeine Fragen aufgeworfen, und ich finde es so interessant zu sehen, mit welcher Tiefe du dich selbst damit auseinandergesetzt hast – mit diesen Themen –, weil es wirklich neue Aspekte einbringt. Und ja, ich möchte auch Teil dieses Wandels sein, sozusagen auch gleichzeitig mitzudenken, und konzeptionell: Wie können und müssen wir das so gestalten, dass es uns allen nützt? Ich danke dir sehr, sehr herzlich für dieses großartige Gespräch.

Alena Buyx (41:47.437)
Ich danke dir. Das war wirklich großartig. Eine wilde Fahrt. Und es hat Spaß gemacht. Danke.

Inga Bergen (41:48.878)
Danke.

Inga Bergen (41:55.074)
Danke, Alena. Ich wünsche dir einen wunderschönen Tag, der sicher voll ist, wie immer bei dir, und viel Erfolg bei deiner Arbeit. Ich werde das Buch in den Show Notes verlinken. Im letzten Kapitel geht es tatsächlich um all diese Themen, über die wir heute gesprochen haben. Aber der Rest ist ebenfalls sehr spannend zu lesen. Aber da wir alle im Gesundheitssystem sind und alle als Patienten verfügbar sind – genau so. Danke. Einen wunderschönen Tag.

Alena Buyx (42:25.549)
Ich dank dir, auch!