KI in der Medizin, System der Zukunft
KI in der Medizin: Bart de Witte, Gründer der Stiftung Hippo.ai, über Open Data und Federated Learning
Bart de Witte, Gründer der HIPPO AI Foundation, arbeitete 19 Jahre in Konzernen wie SAP und IBM, bevor er 2024 seine Stiftung für offene medizinische Datensätze aufbaute. In Folge 10 von Visionäre der Gesundheit fragt Inga Bergen, Expertin für KI und Digital Health und eine der führenden Stimmen für die Zukunft des Gesundheitswesens, wie sich Datenmonopole in der Medizin verhindern lassen. De Witte erklärt, warum medizinisches Wissen ein öffentliches Gut bleiben muss, wie ein Lizenzmodell mit Federated Learning Lerneffekte ohne zentrale Datenhaltung in die Community zurückführt und weshalb afrikanische Inkubatoren eigene KI-Lösungen entwickeln sollen, etwa zur Tuberkulose-Diagnostik. Das Gespräch verbindet Open-Source-Logik mit der Frage, wie Europa durch Kollaboration wettbewerbsfähig wird.
Warum das Thema wichtig ist
Wir haben auf einmal schweigend als Gesellschaft zugestimmt, dass wir medizinisches Wissen, was immer ein öffentliches Gut war, anfangen zu privatisieren.
Wer künftig medizinische KI trainiert, entscheidet darüber, wer sie sich leisten kann: Entsteht das Wissen aus Patientendaten in wenigen Konzernen, wird es zum Wettbewerbsvorteil statt zum Allgemeingut, und akademische Einrichtungen in Europa können mit Kohorten von US-Plattformen kaum mithalten. Die Folge macht die Frage konkret, ob offene Datensätze mit einem Lizenzmodell und Federated Learning verhindern können, dass ein Konzern öffentlich finanzierte Vorarbeit abschöpft, ohne etwas zurückzugeben. Zuhören sollten Klinikleitungen und Pathologinnen und Pathologen, die über Datenkooperationen entscheiden, HealthTech-Gründerinnen und Gründer, Förderinstitutionen und Stiftungen sowie Regulierer, die Datenschutz und Wettbewerbsfähigkeit zusammendenken müssen. Mit diesem Gespräch ordnet Inga Bergen, Expertin für KI und Digital Health und eine der führenden Stimmen für die Zukunft des Gesundheitswesens, in "Visionäre der Gesundheit" eine Debatte ein, die bei Ethik und Erklärbarkeit oft ausgespart bleibt: die Frage, wem medizinisches Wissen gehört, auch in Ländern ohne Diagnostik wie bei Tuberkulose.
key take aways
Zentrale Erkenntnisse
Hippo.ai ist eine Stiftung, die offene Datensätze für medizinische KI aufbaut.
ImageNet umfasste 2009 rund 15 Millionen gelabelte Bilder und löste viele KI-Entwicklungen aus.
Der Aufbau eines medizinischen Open Dataset dauert 12 bis 18 Monate.
Federated Learning zentralisiert Lerneffekte von KI-Modellen, ohne die zugrunde liegenden Daten zu zentralisieren.
In Niger gibt es bei 18,8 Millionen Einwohnern nur 3 registrierte Pathologen.
Die Gastgeberin
Inga Bergen
Expertin für Digital Health & AI I Moderator | Founder | Angel Investor
"Visionäre der Gesundheit " Gründerin Inga Bergen ist eine der promintesten Stimmen für eine menschzentrierte Digitalisierung des Gesundheitswesens. Seit 15+ Jahren an der Schnittstelle von Technologie, Medizin und Gesellschaft. Im erfolgreichen Podcast und Newsletter "Visionäre der Gesundheit" ordnet Inga die digitale und KI-Transformation des Gesundheitswesens ein.
Der Podcast
Visionäre der Gesundheit
VdR - einer der meistgehörten Health-Podcasts in Deutschland mit über 1 Mio. Streams. Wir sprechen mit Ärzt:innen, Unternehmer:innen, Forscher:innen und Entscheider:innen über Innovationen, digitale Transformation, interkulturelle Medizin und die Zukunft der Versorgung. In über 170 Folgen, beleuchtet Inga Bergen mit ihren Gästen, Perspektiven, die Mut machen – und zeigt, wie Wandel im Gesundheitswesen wirklich gelingt.
Episoden BESCHREIBUNG
Offene Daten gegen Wissensmonopole: Bart de Witte über die Stiftung Hippo.ai und die Zukunft medizinischer KI
In dieser Folge von "Visionäre der Gesundheit" spricht Inga Bergen, Expertin für KI und Digitale Gesundheit und eine der führenden Stimmen für die Zukunft des Gesundheitswesens, mit Bart de Witte. Sie hat ihn eingeladen, weil er nach 19 Jahren bei SAP und IBM einen radikalen Schnitt gemacht hat und nun von innen weiß, wie Konzerne mit Gesundheitsdaten Geschäfte machen. Seine Perspektive verbindet Tech-Erfahrung, Entwicklungszusammenarbeit in Afrika und die Idee, medizinisches Wissen nach dem Vorbild der Open-Source-Bewegung gemeinschaftlich aufzubauen. Genau diese Mischung macht ihn für die Diskussion um KI im Gesundheitswesen so besonders.
Was ist Hippo.ai und welches Ziel verfolgt die Stiftung?
Hippo.ai ist eine Stiftung, die offene Datenbanken für medizinische KI aufbaut, damit das daraus gewonnene Wissen nicht in den Händen weniger Konzerne landet. Bart de Witte überträgt dafür die Logik von Linux auf die Medizin: Statt dass ein einzelnes Unternehmen den Markt beherrscht, entwickeln viele Beteiligte gemeinsam Grundlagen, auf denen jeder aufbauen kann.
Der Name verweist auf Hippokrates. Nach Darstellung des Gastes verpflichtet der ärztliche Eid dazu, Wissen mit Kolleginnen und Kollegen zu teilen. Diesen altruistischen Gedanken will die Bewegung fortführen, und viele Ärztinnen und Ärzte fragen laut de Witte bereits, wie sie sich beteiligen können.
Warum sieht Bart de Witte medizinisches Wissen als öffentliches Gut in Gefahr?
Er sieht die Gefahr darin, dass Erkenntnisse aus Patientendaten zunehmend in Unternehmen verbleiben und dort zum Wettbewerbsvorteil werden, statt wie früher in Lehrbüchern allen zur Verfügung zu stehen. Als Beispiele nennt er Gesundheits-Apps wie Runtastic oder MySugar, deren Nutzerdaten beim Verkauf der Firmen indirekt mitbezahlt wurden, ohne dass die Betroffenen darüber mitentschieden hätten.
Zusätzlich beobachtet er eine geopolitische Schieflage. Große US-Technologiekonzerne kooperieren vor allem mit amerikanischen Spitzenuniversitäten, während europäische Forschungseinrichtungen mit vergleichsweise kleinen Kohorten kaum mithalten können. Die Ethikdebatte um KI vernachlässigt aus seiner Sicht die Frage, wem Daten und Know-how eigentlich gehören. Er zieht den Vergleich zur Zeit vor dem Buchdruck, als der Zugang zu Wissen kontrolliert wurde.
Wie entstehen offene medizinische Datensätze und woher kommen die Daten?
Die Daten stammen aus Kooperationen mit Kliniken, vor allem mit akademischen Häusern, die ihr Wissen öffentlich halten wollen. Nach Angaben des Gründers laufen bereits Projekte mit sechs großen klinischen Partnern, die über Drittmittelverträge abgesichert sind, auch wenn Details bewusst noch nicht öffentlich gemacht werden.
Als Vorbild dient die Bilddatenbank ImageNet aus dem Jahr 2009, die Millionen sorgfältig beschriftete Bilder enthielt und eine ganze Welle neuer Algorithmen auslöste. Einen solchen Datensatz in der Medizin aufzubauen, dauert laut de Witte zwölf bis achtzehn Monate und erfordert Fachleute auf Promotionsniveau. Danach sollen Wettbewerbe starten, bei denen Datenwissenschaftler auf die Daten zugreifen und Modelle trainieren.
Wie verhindert Hippo.ai, dass große Tech-Konzerne offene Daten nur abschöpfen?
Die Stiftung setzt auf ein Lizenzmodell, das Nutzer verpflichtet, Lerneffekte ihrer Modelle in die Gemeinschaft zurückzugeben. Technisch ermöglicht das Federated Learning, also verteiltes Lernen: Die Modelle lernen dort, wo sie eingesetzt werden, und nur die Erkenntnisse fließen zentral zusammen, nicht die sensiblen Daten selbst.
Würden tausend Krankenhäuser solche Modelle verwenden, entstünde so ein wachsender, frei verfügbarer Wissensschatz. Damit will de Witte vermeiden, dass öffentlich finanzierte Datensätze am Ende die Monopolisierung beschleunigen, weil ein Internetriese sie nutzt und seine eigenen Ergebnisse für sich behält.
Warum startet Hippo.ai mit Pathologie und was bedeutet Ground Truth?
Pathologie eignet sich als Einstieg, weil Gewebeproben eine verlässliche Referenz dafür liefern, ob tatsächlich eine Krebserkrankung vorliegt. Diese gesicherte Referenz heißt Ground Truth, und sie fehlt vielen KI-Modellen. Ohne sie lernt eine Software womöglich aus Diagnosen, die selbst falsch waren.
De Witte verweist auf eine Studie auf Intensivstationen, in der sich Ärzte bei ihrer Diagnose sehr sicher waren, die spätere Untersuchung aber bei rund vierzig Prozent der Verstorbenen eine andere Ursache zeigte. Inga Bergen ergänzt, dass auch Pathologen bei Grenzfällen teils deutlich unterschiedlich urteilen. Dass KI Menschen übertreffen kann, stimmt technisch, hängt aber von der Qualität der Trainingsdaten ab.
Wie kann KI die Diagnostik in Ländern mit schwacher Gesundheitsversorgung verbessern?
Mobile Geräte in Kombination mit cloudbasierter KI können Diagnostik dort verfügbar machen, wo es kaum Labore und Fachärzte gibt. Der Gast berichtet von seiner Arbeit für ein Krebsregisterprojekt mit der Weltgesundheitsorganisation, bei dem er erlebte, dass ein Land wie Niger mit knapp 19 Millionen Einwohnern nur drei registrierte Pathologen hatte.
Aus einer Begegnung mit einem indischen Arzt entstand die Idee, die visuelle Erkennung von Gebärmutterhalskrebs per Smartphone zu digitalisieren. Das daraus hervorgegangene Start-up MobileODT erzielte laut de Witte mit KI inzwischen bessere Ergebnisse als der klassische Abstrich. Als nächstes Ziel nennt er Tuberkulose, die mit einfach verfügbarer Therapie behandelbar wäre, an der aber über eine Million Menschen jährlich sterben, weil die Diagnose fehlt. Denkbar ist ein Ultraschall als Steckmodul fürs Handy, gemeinsam mit Stiftungen und Pharmaunternehmen.
Wichtig ist ihm dabei, nicht selbst fertige Produkte zu liefern. Stattdessen sollen afrikanische Inkubatoren offene Daten und Modelle nutzen, um eigene Lösungen zu bauen und so Abhängigkeiten zu vermeiden.
Kann Open Source im Gesundheitswesen wirtschaftlich funktionieren und Europa stärken?
Ja, davon ist Bart de Witte überzeugt, denn offene Grundlagen schließen unternehmerischen Erfolg nicht aus. Als Beleg führt er die Übernahme von Red Hat durch IBM für rund 34 Milliarden Dollar an, ein Unternehmen, das auf Linux aufbaut. Offenheit sichert vor allem, dass Wettbewerb möglich bleibt, anders als bei Suchmaschinen oder sozialen Netzwerken.
Für Europa sieht er darin eine realistische Strategie. Der Kontinent kann mit zersplitterten Gesundheitssystemen, vielen Sprachen und weniger Kapital kaum ein eigenes Google Health oder Amazon Health hervorbringen. Stärker ist er, wenn viele kleine und mittlere Unternehmen kooperieren, auf Dezentralisierung und Federated Learning setzen und die Politik Zusammenarbeit fördert. Das passe zum europäischen Gedanken der Verteilung statt der Konzentration von Macht.
Im Gespräch mit
TRANSKRIPT
00:00
Inga Bergen
Bart de Witte will mit seiner Stiftung Hippo.ai ein offenes Datenbanksystem für medizinische Daten erstellen, um Datenmonopole zu verhindern. Im Podcast erzählt er uns, wie er es schaffen will, KI-Lösungen für das Gesundheitswesen zu ermöglichen, die weltweit medizinischen Mehrwert schaffen. Herzlich willkommen bei Visionäre der Gesundheit. Wir freuen uns sehr, dass du eingeschaltet hast. Hallo Bart, guten Morgen. Guten Morgen auch Nestor. Ja, guten Morgen. Wir sitzen hier quasi zu viert jetzt heute im Raum. Du hast nämlich deinen Hund mitgebracht.
00:48
Inga Bergen
Genau, das ist mein Begleiter. Also nicht immer, aber nachdem wir zu früh abgemacht haben, wird mein Hundesitter nicht so früh aufstehen und mich mitnehmen.
00:57
Inga Bergen
Also wenn es schwer atmet, ja, es ist nicht Bart. Das ist Nestor, der hier liegt, aber ganz friedlich. Ja, und ich habe mich gefreut. Larissa auch, dass wir mit dir sprechen, weil wir reden ja viel im Moment mit Startup-Unternehmern. Wir sind selber in einem Unternehmen tätig, das sich mit KI beschäftigt. Und du hast tatsächlich vor einiger Zeit eine sehr interessante Initiative gestartet, nämlich Hippo.ai. Ja, was ist das? Erzähl mal ein bisschen.
01:29
Inga Bergen
Vielleicht müssen wir in die Vergangenheit etwas zurückgehen, wo ich herkomme. Also ich habe nicht nur eine Initiative gestartet, ich habe alles verändert in meinem Leben, was man so verändern kann. Also ich war 19 Jahre im Corporate, also SAP, IBM, und habe eine Entwicklung gesehen, die ich nicht für sinnvoll oder nicht für wertvoll halte, weil ich sehr stark gegen dieses Dart Mode, also die Leute, die mich schon länger kennen, wissen, dass ich auf WhatsApp nicht so gut erreichbar bin, dass ich Threema nutze, dass ich sehr stark auf Plattformen mich bewege, wo eben meine Daten nicht monetarisiert werden. Und ich sehe eine Entwicklung, wo in der Medizin vor allem diese Daten monetarisiert werden und das Wissen, das aus den Daten generiert wird, privatisiert wird. Das ist an sich nicht schlecht. Ich habe nichts gegen die Privatwirtschaft. Ich habe selber lange sehr viel Zeit verbracht dort. Aber ich glaube, dass wir ähnlich wie in der Softwareentwicklung wo es für 20 Jahre Monopol gab von Microsoft, die hatte 70% Marktanteil, und dann ist da die Open-Source-Bewegung entstanden als Alternative, wo Firmen zusammengearbeitet haben, um Linux und andere Open-Source-Plattformen zu entwickeln. Das ist so ein ähnlicher Ansatz, möchte ich gerne in die Medizin transferieren.
02:39
Inga Bergen
Genau, und Open Source bedeutet ja, dass Software frei verfügbar ist für jeden, dass auch jeder sozusagen daran mitarbeiten kann. Dazu etwas beitragen kann und dass das dann so wie eine ehrenamtliche Tätigkeit ist, wenn ein Programmierer zum Beispiel zu einer Open-Source-Sache was beisteuert.
02:59
Inga Bergen
Es muss nicht ehrenamtlich sein. Also wenn man guckt, große Firmen beauftragen ihre Entwickler, in die Open-Source-Community zu investieren. Also die stehen auf der Payroll von einem Großunternehmer und programmieren halt Open-Source-Entwicklungen mit. Manchmal gibt es Firmen, die eigene Entwicklungen schenken an die Open-Source-Community. Also es gibt da viele Möglichkeiten, es ist nicht nur ehrenamtlich. Also Open Source ist fast, also vom Steve Ballmer, wie vor 20 Jahren gesagt, Open Source ist ein Krebsgeschwür, hat er immer gemeint, und jetzt Windows.
03:32
Inga Bergen
Steve Ballmer war der CEO von Microsoft.
03:35
Inga Bergen
Genau, und der dann Bill Gates aufgefordert hat, und 20 Jahre später hat also Microsoft Windows Linux als Kernel genommen, und da sieht man diesen Wechsel. Und man sieht, dass in der Softwareentwicklung, durch diese gemeinsame Entwicklung, bestimmte Teile, da Mehrwerte generiert werden, die allen dienen. Also das heißt nicht, das ist nur ehrenamtlich, das ist mittlerweile auch eine Unternehmensstrategie von vielen Unternehmen.
03:59
Inga Bergen
Ja, das heißt, das ist so ein Beispiel, was dich persönlich da angesprochen hat, und du versuchst jetzt das auf Gesundheitsdaten zu übertragen. Wie kann man sich das vorstellen?
04:10
Inga Bergen
Versuch ist ein gutes Wort, weil es ist ja keine leichte Aufgabe. Also ich habe im April aufgehört bei IBM und habe dann zuerst mal überlegt und viele Interviews geführt. Wie setzt man so etwas auf, weil das gibt es gar noch nicht. Ich habe mich da ziemlich stark auseinandergesetzt. Es gibt, wenn man bestimmte Studien zu KI anschaut, dass denen die Daten meistens nicht zur Verfügung stehen, um die zu replizieren. Die Daten stehen nicht offen zur Verfügung. Und dann habe ich dann auch gesehen, wo waren dann die größten Bälle, wenn es um KI-Entwicklungen gab. Also nicht Medizin ist. Und in 2009 gab es auf einmal so eine Riesendatenbank, das hat ImageNet geheißen, mit 15 Millionen Bilder, die gelabelt sind. Labeling heißt, ich habe ein Bild und es steht ein Fahrrad drauf, dass man dann auch dieses Bild also tagged oder benannt, dass es ein Fahrrad ist. Und da waren 15 Millionen Bilder, die sehr gut qualitativ aufgebaut worden sind, die man dann der Community weltweit zur Verfügung gestellt hat.. Und daraus sind dann sehr viele Entwicklungen entstanden. Und dann hat man gesehen, dass man nicht nur Bilddaten, aber andere Open Datasets, also offene Datenbanken, zur Verfügung gestellt hat. Und aus die offene Datenbank sind dann neue Algorithmen entstanden, neue Arbeitsweisen, neue Modelle, und hat die ganze Community dran angefangen zu arbeiten. Also zum Beispiel Spracherkennung war auch so etwas, was dann auch in Siri und in Alexa reingekommen ist. Aber das hat sehr stark am Anfang mit Open-Datenbanken zu tun gehabt. Das heißt, mein erster Fokus liegt daran, also wie setzen wir Open-Datenbanken auf, und da bin ich jetzt dran, und so ein Open-Datenset zu kreieren, das dauert 12 bis 18 Monate. Du brauchst PhD-Level-Mediziner, wir brauchen Fachwissen, und bis man dann die Daten aufsetzt, kann man dann eben die nächsten Schritte tun.
05:54
Inga Bergen
Und woher bekommt ihr diese Daten?
05:56
Inga Bergen
Da habe ich jetzt Verträge abgeschlossen mit Krankenhäusern, die sehr wohl interessiert sind, interessiert sind, diese Alternative mit aufzubauen, weil viele Krankenhäuser der Meinung sind, also vor allem akademische Krankenhäuser, der Meinung sind, dass dieses Wissen öffentlich bleiben soll. Also wenn man etwas in die Zukunft schaut, und jeder versteht das relativ einfach, wenn man die gleiche Entwicklung auf Tech-Unternehmen gesehen würde, und dann führt das teilweise zu einer Konsolidierung, quasi Monopolisierung. Es gibt in Europa eine Suchmaschine, Internetsuchmaschine, Die hat 80% Marktanteil, weil die die meisten Nutzer haben, die Nutzer die meisten Daten generieren und aus den meisten Daten die besten Algorithmen trainiert werden. Und das führt dann eben dazu, dass es fast keinen Wettbewerb gibt. Viele verstehen das, wenn man das in die Medizin, wenn so etwas eintritt, dass dann auf einmal eine Firma oder ein paar Firmen weltweit auf einmal das ganze Medizinwissen der Welt besitzen. Und da ist natürlich die akademische Welt nicht so ganz happy darüber über solche Entwicklungen.
06:56
Inga Bergen
Weil das dann bedeuten würde, wenn ich forschen möchte, muss ich im Zweifel für Daten bezahlen?
07:03
Inga Bergen
Im Zweifel, oder wenn man die Kooperationen von den Internetfirmen Google und Facebook und anderen in Amerika sieht, dann sieht man, dass die Partnerschaften mit Stanford, mit Harvard Medical School, aber sehr selten mit europäischen akademischen Institutionen gemacht werden. Also das hat dann schon eine geopolitische Komponente, welche akademische Plattformen werden genützt, um die Daten dann zu bewerten. Und das führt dann auch in die akademische Welt zu einer Konsolidierung, weil in Deutschland, sage ich immer, kann man maximal einen Kohorte aufbauen von 18 Millionen Einwohnern. Wenn Amazon Health irgendwann skaliert und die haben einen Kohorte von 300 Millionen, dann wird es schon schwierig, da auf Forschungsebene entgegenzuwirken oder gleich wertvolle Forschung zu betreiben.
07:52
Inga Bergen
Und wie ist das heute? Wem gehören Daten heute?
07:58
Inga Bergen
Das ist so immer diese Frage: Wem gehören Daten? Also eigentlich sagt man immer dem Patienten, aber der Patient hat ja nicht seine Daten. Und wenn man die Frage stellt in Tech-Unternehmen, könnte man dann sagen: WhatsApp, das wurde für 19 Milliarden verkauft ohne Geschäftsmodell an Facebook. Das waren ja nur Daten, also das war ja Community und Daten. Das waren unsere Daten, trotzdem wurden die für 19 Milliarden verkauft an ein Startup damals oder an ein Tech-Unternehmen. Das heißt, die Daten sind ein Wert, der ökonomisiert wird und dann auch verkauft wird. Natürlich haben wir mit unseren Datenschutzverordnungen hier etwas Einschränkungen eingebaut, das heißt aber nicht, dass die Daten keinen ökonomischen Wert mehr haben, und ich sehe, dass sehr viel von diesen Daten dann auch transferiert werden. Da werden die Leute mich nicht so gerne haben für diese Aussage, aber es gibt zum Beispiel Startups hier in Europa, fangen wir an mit Runtastic. Das war einfach eine Health-App, die Daten gesammelt hat, Fußdaten, Laufmuster, wo ich laufe, wo ich wohne, wann ich laufe. Vielleicht haben die noch mal Schlaf erfasst und dann wurde die verkauft an Adidas. Die Kunden haben ja nicht entschieden, das war auch der Wert von Daten, die Kunden haben ja kein informed consent gehabt, um mitzuentscheiden, dass die Daten mittransferiert werden. Ein anderes Beispiel ist MySugar, 1 Million registrierte Diabetiker, und wurde dann für einen bestimmten Betrag verkauft an ein großes Pharmaunternehmen.
09:32
Inga Bergen
Heißt auch mit den Daten dann der—
09:33
Inga Bergen
Genau, mit den Daten wird Geschäft gemacht, obwohl es nicht direkt verkauft wird, aber trotzdem Der Wert des Start-ups ist ja direkt verknüpft mit der Wertung an die Insights oder die Erkenntnisse, die man aus den Daten herausholt. Eigentlich gehören die Daten uns, aber es ist die Masse von Daten, die den Wert generiert und dann wieder einen Unternehmenswert generiert, die dann transferiert werden.
09:54
Inga Bergen
Und wie sieht konkret deine Idee aus, wie man solche Daten, die eben einen Bezug haben zur individuellen Gesundheit, Und wir sprechen ja mittlerweile nicht mehr nur über Daten, die in einem klinischen Forschungskontext erhoben werden, sondern wir sprechen auch über Daten, die der Patient selbst erhebt. Also Beispiel Runtastic, Beispiel MySugar. Daten, die für einen Behandlungsverlauf, Krankheitsverlauf auch wichtig sind. Also wie bewegt sich jemand? Wie schläft jemand? Wie ist Herzfunktion zum Beispiel. Was soll mit diesen Daten deiner Meinung nach zukünftig passieren?
10:39
Inga Bergen
Also es geht mir mehr um die Erkenntnisse aus den Daten, also das Wissen. Also Daten sind Daten und aus Daten extrahiert man Informationen, aus Informationen extrahiert man Wissen und dieses Wissen stand eigentlich immer früher öffentlich zur Verfügung. Also wenn man als Arzt Medizin studieren will, um einen Patienten zu diagnostizieren, dann kann man in Lehrbüchern dieses Wissen aneignen, an die Uni aneignen und Wenn dieses zukünftige Wissen generiert wird aus Daten in einzelnen Unternehmen, die quasi den Wettbewerbsvorteil geben für dieses Unternehmen, stehen die Daten und dieses Wissen ja nicht jedem zur Verfügung, weil es dann der Wettbewerbsvorteil ist.
11:14
Inga Bergen
Das bedeutet, um das nochmal zu verstehen, das Unternehmen, das diese Daten zur Verfügung hat, hat meinetwegen einen Algorithmus entwickelt und dieser Algorithmus ist nicht unbedingt transparent, der ist nicht nachvollziehbar. Und um sozusagen diesen Wert zu nutzen, muss ich den dann kaufen.
11:32
Inga Bergen
Genau, die Nachvollziehbarkeit ist noch ein anderes Thema, aber da kommen wir in Transparency und Explainable AI rein. Das ist ja noch mal etwas anderes, was mit Richtlinien versucht, die EU da entgegenzuwirken, obwohl das ganz schwierig wird, wenn man über ganz komplexe multimodale KI-Modelle redet, wo sehr komplexe Modelle antrainiert werden, wo es dann nicht—
11:54
Inga Bergen
Okay, also das ist nochmal ein anderes Thema, wirklich Algorithmen nachvollziehbar zu machen und auch zu schauen, sind die, entsprechen die unserem Wertesystem? Das ist ja auch eine große Frage, weil es gibt sozusagen voreingenommene Algorithmen. Aber das ist nochmal ein anderes Thema.
12:14
Inga Bergen
Es werden genügend Ethikdiskussionen geführt, wo in die ganze Ethikdiskussion Diskussion etwas fehlt, ist der Besitz dieser Daten, der Besitz dieses Know-how. Also wir haben auf einmal schweigend als Gesellschaft zugestimmt, dass wir medizinisches Wissen, was immer ein öffentliches Gut war, anfangen zu privatisieren. Jetzt, ich bin ja auch ein Kapitalist, aber ich bin ein conscious Kapitalist in dem Sinn. Ich glaube, es gibt bestimmte Werte, die wir in unserer Gesellschaft behalten müssen, sollen und müssen auch. Und ein anderer dieser Werte ist Zugang zu Wissen. Also wir haben seit 300 Jahren die Aufklärung. Früher hat die katholische Kirche gesagt, wenn man krank ist, dass man gesündigt hat. Alle waren Analphabet und keiner hatte Zugang zu Büchern. Und da musste man entweder einen Ablassbrief kaufen oder nach Santiago de Compostela gehen, um Vergebung zu fragen, ungefähr. Die Analogie kann man sehr stark nützen, weil wenn eine Organisation Wissen sammelt, dann kann man auch mal definieren, was die Wahrheit ist oder wer dafür bezahlt. Da wären wir die erste Generation seit Gutenberg, die die Buchdruckpresse erfunden hat, die da öffentliche Zugänge zu Wissen wieder rückgängig macht.
13:28
Inga Bergen
Ja, und wie sieht dein Vorschlag ganz konkret aus?
13:31
Inga Bergen
Also der Vorschlag ist nicht mein Vorschlag, das ist ein Community, also eine Bewegung, die man startet. Wie gesagt, mein erstes Thema war, Datenprojekte zu starten. Die sind auch gestartet, aber die lege ich nicht in die Öffentlichkeit, weil ich habe von der Chinese gelernt, dass man zuerst mal Dinge machen soll im Hintergrund, bevor man dann auch in die Öffentlichkeit geht. Das macht alles auch viel einfacher. Aber da sind echt 6 große klinische Partner jetzt, die an Projekten arbeiten, wo wie Drittmittelverträge abgeschlossen habe, um dann daraus die Daten zu kreieren. Das dauert, wie gesagt, 12 bis 18 Monate.
14:10
Inga Bergen
Und dann werdet ihr darüber auch reden?
14:11
Inga Bergen
Dann werden wir mit den Daten Stim2Challenges aufsetzen, also Wettbewerbe, wo Datenwissenschaftler und andere auf die Daten zugreifen können, um dann daraus KI-Modelle zu trainieren, die aber unter einem Lizenzmodell liegen, dass wenn die KI-Modelle genützt werden, dass die Leute, die die KI-Modelle nutzen, auch die Lerneffekte wieder zur Pflicht in die Community einspielen müssen, weil einer von den Knackpunkten, die wir gestellt haben oder zu lösen hatten, ist: Okay, wenn wir jetzt viel investieren, also in die öffentliche Hand oder aus der Gesellschaft, in das Gestalten von Open Data Sets, dann könnte auch aber ein großer Internetriese die Datensets nutzen und dann würden wir quasi die Monopolisierung nur beschleunigen. Und dann habe ich gesagt: Ja, ich sag doch. Danke für die Arbeit. Danke, Bart, für die Arbeit. Wir nehmen uns die Daten, aber unsere Daten teilen wir trotzdem nicht. Und da haben wir uns dann auseinandergesetzt, dass man das lösen kann, indem man ein Lizenzmodell aufsetzt, dass wenn man die Daten nützt und die KI-Modelle, die daraus entstanden werden, nützt, dass man über eine Technologie, über Federated Learning, das ist ein ein verteiltes Lernen, das heißt, wenn Leute die KI-Modelle in ihrer Applikation einsetzen und die Modelle lernen, dass man die Lerneffekte wieder zentralisieren kann, ohne dass man die Daten zentralisieren muss. Das heißt, wenn 1000 Krankenhäuser diese Modelle nutzen würden, dann würden über diese Nutzung von diesen Modellen Lerneffekte generiert, die wieder zurückfließen in die Community als Open Source, ohne dass die ihre Daten zentralisieren müssen.
15:51
Inga Bergen
Wisst ihr auch schon jetzt, oder könnt ihr schon absehen, was für Themen das sein werden, zu denen KI-Modelle entwickelt werden, aufbauend auf diesen Daten, die ihr gerade—
16:01
Inga Bergen
Sehr gute Frage, weil das war die erste Frage, okay, was sind die Themen? Klar, wir müssen Themen haben, die funktionieren. Das heißt, wir fangen klar an mit vielen Bilddaten. Also Pathologie ist ein Thema. Digitale Pathologie ist noch nicht so weit verbreitet wie digitale Radiologie. Weil nicht alle die Bilder archiviert haben. Aber die Pathologie ist dementsprechend interessant, weil es quasi ein Ground Truth ist, ob jemand wirklich Krebs hat oder nicht, weil es mit einer Biopsie verbunden ist. Und uns fehlt in den KI-Modellen Ground Truth.
16:35
Inga Bergen
Was bedeutet das Wort?
16:36
Inga Bergen
Ground Truth ist: Ist es dann wirklich so, dass der Patient wegen dieser Diagnose behandelt worden ist? Das richtige Diagnose.
16:45
Inga Bergen
Also der Rückfluss der Information ist oft nicht gegeben.
16:49
Inga Bergen
Genau, und ein gutes Beispiel, das ich immer erwähne, es gibt eine sehr gute Studie, die schaut hat, wie genau ist dann die Diagnostik bestimmter Ärzte, und da gibt es, Menschen haben eine bestimmte Verzerrung, also wir haben über 400 verschiedene Verzerrungen, und eine von diesen Verzerrungen ist, dass man zu überzeugt ist über seine Meinung und deshalb nicht hinterfragt, befragt. Und dann hat man Ärzte befragt: Wie sicher sind Sie sich über Ihre Diagnose? Das waren Patienten, die auf der Intensivversorgung lagen. Und dann hat man gefragt: Sind Sie sich nicht so ganz sicher, sind Sie sich sicher oder sind Sie sich sehr sicher? Und dann die Patienten, die dann gestorben sind und wo die Diagnose mit sehr sicher definiert wurde, die hat man dann, da hat man dann eine Biopsie durchgeführt und dann hat man gesehen, dass bei 40% von diesen Patienten die falsche Diagnose gestellt worden ist. Das heißt, wenn wir jetzt die klinischen Daten nutzen würden für KI-Modelle, ohne die Biopsie zu haben, dann hätten wir uns auf 40% von falschen Diagnosen basiert.
17:47
Inga Bergen
Aber selbst die Biopsie ist eine spannende Frage, weil selbst die ist ja auch sehr subjektiv. Ich sag's jetzt einfach mal, es sitzt da ein Mensch mit einer bestimmten Erfahrung und ich weiß das selber aus der Arbeit beim Agnosco, Es gibt viele Diagnosen oder Befunde, die total klar sind, die sind relativ einfach. Aber es gibt auch Grenzfälle, wo sich auch Pathologen selbst unsicher sind und wo wirklich auch große Abweichungen entstehen. Auch dazu gibt es interessanterweise Studien aus den USA, wo es wirklich 50% Abweichung gibt von Pathologe zu Pathologe, was die, was die sehen. In so einer Probe und das wollt ihr— Das ist jetzt Nestor.
18:35
Inga Bergen
Das ist Nestor, wach auf. Komm rein, mach mal Platz hier.
18:40
Inga Bergen
Diese Daten wollt ihr rückfließen lassen, um—
18:44
Inga Bergen
Das kann man natürlich nicht so.
18:46
Inga Bergen
Zu verstehen, was da passiert.
18:48
Inga Bergen
Das ist ja das Hauptproblem von aller KI-Firmen, ist, dass wenn man KI-Modelle in der Praxis einsetzt, dann sollen die Modelle lernen und dann muss man sich fragen, auf welcher Daten lernen die dann? Was sind dann die Ground Truths? Die wirkliche Ursache, damit man das Modell besser macht, als was eigentlich die menschliche Entscheidung war. Man redet darüber, dass die KI besser performt als ein Mensch. Technologisch stimmt das, aber die KI ist ja nur so gut wie die Daten, die sie bekommt. Wenn wir dann Daten nutzen, wo sehr viele Fehldiagnostiken, wo die Diagnose nicht genau ist, wo die Ground Truth eben fehlt, ist das schwierig. Aber eben, wir fangen an mit Pathologie. Und ein anderes Thema, wo wir anfangen, mit Open Data Set zu kreieren, ist, wo kann man einen Impact generieren in Ländern, wo es keine Diagnostik gibt? 50% der Weltbevölkerung. Und da gibt es Krankheiten, wo es zwar Behandlungen gibt, aber wofür die Diagnostik fehlt. Und eine von diesen Krankheiten ist Tuberkulose. Und Tuberkulose Klose, da sterben pro Jahr in Low- und Middle-Income Countries, also Entwicklungsländern, man darf das ja so nicht sagen, aber in Tieferlöhnländern sterben über 1 Million Leute, weil sie keinen Zugang haben zu Diagnostik. Obwohl die Therapie ziemlich einfach ist. Und dann habe ich gesagt, okay, eigentlich ist es dann sehr sinnvoll, wenn wir uns auch krankheitsspezifische Challenges aufbauen, die dann einen Impact haben auf 1 Million Menschen, weil dann Die Stiftung quasi erklären kann, dass wir einen gesellschaftlichen Wert kreieren. Ohne dass wir einen Impact haben auf Menschenleben, wird keiner uns glauben, dass wir etwas bewirken. Das wird so ein technologisches Open Data, Open Tech, was auch immer, was niemand versteht. Wir brauchen dieses Geld für diese Stiftung, nachhaltige Finanzierung von den Menschen und von der Gesellschaft. Und das ist so fast ein humanitärer Teil, der da integriert ist.
20:43
Inga Bergen
Und das ist auch ein spannender Punkt. Also erst mal ja, ich finde, es ist auch sehr schwierig zu erklären, weil wir ja nur sprechen gerade. Wenn man noch Bilder dazu hat und sich das so ein bisschen bildhafter darstellen kann, wie so Datenflüsse, Datenpools etc. funktionieren, ist es immer ein bisschen einfacher. Aber so ist es tatsächlich ein Thema, finde ich, was nicht so ganz einfach sich erschließt. Was ich aber auch total spannend finde, ist das Thema: Was können wir aufbauend auf Daten eigentlich für skalierbare Produkte, Services entwickeln, die Diagnostik und auch Behandlung, Therapie zugänglich machen, auch in Märkten? Also 50% der Weltbevölkerung haben keinen Zugang zu medizinischer Versorgung oder nur sehr schlechten Zugang. Und du warst ja auch viel auf dem afrikanischen Kontinent unterwegs und hast dir da wahrscheinlich für dieses Thema auch Inspiration geholt.
21:42
Inga Bergen
Ja, ich war für 6 Jahre viel unterwegs, weil ich auf ein Krebsregisterprojekt gesessen habe, also das war so ein Corporate Citizenship Projekt von IBM damals. Das sind Projekte, wo man freigestellt wird von der Arbeit und dann für das Gemeinwohl arbeitet. Und ich habe dann monatelang auf einem Projekt eingesetzt von der World Health Organization und der IARC, das ist die International Agency for Research on Cancer, und die haben versucht zu erfassen, welche Krebsarten gibt es denn in Afrika. Mussten dann aber feststellen, das sind so Länder wie Niger, da gibt es 18,8 Millionen Einwohner und 3 registrierte Pathologen. Also um Krebsregister aufzubauen, braucht man zuerst mal Daten und Diagnostik und Infrastruktur. Und das war ja alles nicht vorhanden. Und ich habe dann ein Projekt mit aufgesetzt, weil ich dann einen Arzt kennengelernt habe in Indien. Und der hat Gebärmutterhalskrebs diagnostiziert mittels einem visuellen Erkennungstest. Die Krankenschwester mittels einem Koloskop, das ist eine Röhre mit einer optischen Vergrößerung, wo dann Küchenessig auf die Gebärmutterhals angewendet worden ist und dann es eine leichte Verfärbung gab. Und dann konnte die feststellen, nicht so gut wie ein Abstrich, konnte die feststellen, dass die Patientin eine HPV, ein Humanes Papillomavirus-Infektion hatte. Und dann habe ich gemeint, okay, das ist ja spannend, weil es ist ein visueller Erkennungstest, das könnte man auch digitalisieren.
23:11
Inga Bergen
Ohne Pathologen sozusagen.
23:12
Inga Bergen
Ohne Pathologe und ohne Krankenschwester, die dann lange brauchen, um diese Erkennungswerte auf ein Niveau zu bringen, dass es eine Aussagekraft hat. Daraus ist dann ein Projekt entstanden, woraus dann ein Startup entstanden ist in Israel, MobileODT von Ariel Beery. Die haben dann sehr stark auf einem Android-Phone dieses Modell nachgebaut, dann in Afrika sehr stark auf Projekte aufgesetzt, und im Januar haben die ja das Studie publiziert, dass dieses Tool auf einmal mit KI-Erkennung einen besseren Erkennungswert hat als der klassische Abstrich oder Pap-Smear-Pathologie. Das heißt, wir brauchen kein Labor mehr, wir brauchen keinen Pathologen mehr, wir brauchen nur noch das Mobiltelefon und eine Kamera. Und dann habe ich auf einmal Bestände— eigentlich nicht mehr, weil diese Kamera, weil diese optische Vergrößerung viel genauer sieht als der Mensch. Der braucht sogar nicht mehr dieses Acid. Und das ist ja ganz spannend, weil das ist ja erst am Anfang, und da sieht man auf einmal, was der Impact sein sein kann, vom mobilen Telefon in Kombination mit dem Internet und cloudbasierten KI-Services, dass man auf einmal sogenannt leapfroggen kann, also eine Technologie überspringen kann und die Leute Diagnostik zur Verfügung stellen kann.
24:25
Inga Bergen
Und das ist jetzt natürlich, wenn man jetzt von Deutschland ausgeht, sind solche Themen ja, hier gibt es ja Lösungen, das heißt, es ist immer schwierig, andere neue Lösungen auch wirklich in der Breite zu implementieren, weil man muss erstmal beweisen, dass diese neue Lösung eines Problems, zum Beispiel Gebärmutterhalskrebserkennung, besser ist, kostengünstiger ist, irgendeinen Vorteil bringt. In solchen Ländern, wo aber die Problematik eben da ist, dass es gar keine Infrastruktur gibt, kann man natürlich so was viel einfacher dann auch ausrollen. Und wie ist das mit der Erhebung von Daten? Im Moment guckt er bei Hippo.ai hauptsächlich auf Deutschland.
25:09
Inga Bergen
Wir versuchen erst die Open Datasets zu generieren.
25:13
Inga Bergen
Dann wäre es aber auch möglich, ganz konkret zu gucken, mit zum Beispiel Stiftungen, die die Weltgesundheit im Fokus haben, wie kann man das nutzen?
25:21
Inga Bergen
Sind wir auch im Gespräch. Also eben mit Stiftungen, also Schweiz im Gespräch, wo wir das TBC-Projekt angehen würden, weil wir der Meinung sind, dass wir auf Basis von Ultraschall TBC diagnostizieren können. Und es gibt ja mittlerweile Ultraschall, die auf Mobiltelefone angewendet werden kann. Also dass man ein Add-on quasi so reinsteckt wie ein Kopfhörer, aber es ist einfach ein Ultraschallgerät. Und wenn man dann KI nutzen kann oder Modelle auftrainieren kann, um TBC zu diagnostizieren, was man heute eben nicht auf Ultraschallbasis machen kann, dann kann man das an jede Community Work in Afrika zur Verfügung stellen für die Früherkennung. Es gibt zwar genetische Tests, aber da braucht es schon Infrastruktur.. Und dann könnte man sehr früh an die TBC-Diagnose rankommen. Und da habe ich auch, da bin ich mit Pharmaunternehmen, die klar die TBC-Medikation haben, die Therapie haben, die sehr stark daran interessiert sind, den Zugang zur Diagnostik zu verbessern, weil sie dann besser therapieren können. Da sind wir mit verschiedenen im Gespräch, um da so ein Konsortium aufzubauen.
26:22
Inga Bergen
Aber um das wirklich noch mal zu verstehen, in dem Fall, wo so eine solche Diagnostik Lösung entwickelt werden würde auf einem Open-Data-Set, wäre die für die Anwender kostenfrei?
26:35
Inga Bergen
Nein, wir werden ja keine Lösung entwickeln. Wir wollen ja keine Lösung entwickeln. Also es ist nicht, weil jemand Linux zur Verfügung stellt, dass jeder Endanwender mit Linux umgehen kann. Es gibt dann immer Unternehmen, die das nützen und daraus Lösungen generieren. Und jetzt gibt es zwei Ansätze für diese Länder in Afrika. Und ich glaube, wenn wir die United Nations anschauen, die Sustainable Development Goals, wo es darum geht, nachhaltig die Länder vorwärts zu bringen, dann gibt es 24 verschiedene von diesen Sustainable Development Goals und eines von denen ist Health. Jetzt kann man sagen, okay, das ist gut, ich habe jetzt einen KI-Service und die haben jetzt alle Zugang zur Diagnostik, aber gleichzeitig kreiert man Asymmetrie, man kreiert unglaubliche Abhängigkeiten Weil man gibt den Leuten nicht die Chance, ihre eigene KI-Lösung aufzubauen. Und das ist, wo wir mit der Stiftung entgegenwirken wollen. Weil wir sagen, okay, wenn wir dann Open Datasets haben und KI-Modelle, dann würden wir mit afrikanischen Incubators zusammenarbeiten und sagen, ihr entwickelt eure eigenen lokalen Lösungen, weil das viel nachhaltiger ist. Weil wenn wir es nicht schaffen werden, in diesen Ländern eine eigene Wirtschaftsstruktur aufzubauen, dann werden wir weiterhin die Probleme sehen, die wir in den Ländern sehen wollen. Destabilisierte Gesellschaften gibt, wo es Flüchtlingsströme gibt und so weiter, weil es eben keine stabile Wirtschaftsstruktur gibt.
27:58
Inga Bergen
Das stimmt, also es ist wirklich schwierig, weil wir sprechen ja auch viel mit Unternehmen, die gute Lösungen entwickeln, und das ist häufig das Problem, dass die Überführung aus der akademischen Welt jetzt in die Anwendung nicht so gut klappt, häufig, und dass man einfach Unternehmer braucht dafür. Aber in dem Moment, wo ich natürlich ein Unternehmen aufsetze, habe ich eine Gewinnerzielungsabsicht. Und je nachdem, wer dieses Unternehmen finanziert, ja, ist das natürlich der absolute Fokus. Da muss man sich nichts vormachen. Und das ist natürlich eine total spannende Frage, weil wir ja auch einen globalen Wettbewerb haben.
28:39
Inga Bergen
Aber ich glaube, da muss man umdenken. Ich glaube, dass eben was sind, Deshalb bin ich auch ein starker Glaube daran, also Open Source heißt nicht Anti-Wirtschaft, heißt nicht Kommunismus oder Sozialismus in dem Sinne, dass wir jetzt keine Werte, unternehmerische Werte mehr generieren können. IBM hat gerade Red Hat verkauft, eine Open-Source-Firma, die auf Basis von Linux erweiterte Services entwickelt hat, und IBM hat da sprich 34 Milliarden ausgegeben für diese Firma. Das heißt nicht, dass man mit Open Source keinen Mehrwert generieren kann, der ein ökonomischer Mehrwert ist. Das Einzige, was man tut, man erlaubt es, dass der Wettbewerb weiterhin möglich ist. Und das ist ja genau das Hauptthema. Schau mal diese Modelle an: Internet Search, kein Wettbewerb. Schau Social Media an, kein Wettbewerb. Und dann wissen wir, dass wir in Europa, wenn wir das weiterdenken, wären wir ziemlich naiv zu denken, dass wir unsere eigene Google Health und Amazon Health Aufbauer werden, die die Welt erobern. Weil wir können nicht skalieren. Wir haben in jedem Bundesland ein anderes Gesundheitssystem, um mal nicht über EU-Länder zu reden. Wir haben all diese verschiedenen Sprachen. Wir haben dann eine Bevölkerung, die sehr zurückhaltend ist, wenn es um Adaption von neuen Technologien geht. Und dann haben wir noch weniger Kapital als China und die USA. Also, meine Güte, wie soll man da überhaupt dann gewinnen? Dann sagt man, dann sollen wir die Regeln vielleicht anders definieren. Wenn wir sagen, wir setzen auf Open Source, wir setzen auf Federated Learning und wir machen Policies und Gesetzgebungen, die eben auf Kollaboration setzen, so wie das bei Linux der Fall war und anderen, dann werden wir auch wettbewerbsfähiger sein, weil dann kommt gerade die Stärke von Europa raus, dass wir mit 10, 20 Unternehmen, KMUs gemeinsam Werte schaffen, die wir verteilen. Und so funktioniert auch Europa. Europa hat keine Monopole, das habe ich länger nicht verstanden, weil Europa das nicht will. Europa will kein— schau mal Silicon Valley an, alle finden das, ich finde das auch eine unglaubliche Leistung, was die da erbracht haben. Da liegt mittlerweile das Geld auf die Straße, aber da liegen auch Leute auf die Straße. Es gibt mittlerweile 6 Städte in den USA, wo Macht zentralisiert und Wirtschaft zentralisiert wird, und alle anderen kommen nicht mit, und das sieht man in den Wahlresultaten in den USA. Europa will eigentlich umverteilen. Die will kein Silicon Valley in Berlin, die will kein Silicon Valley in London, die will eins in Berlin, Hamburg, München, Düsseldorf, in Bukarest, überall, weil das ist ja die Wille, dass das verteilt wird. Und diese Träumerei, dass wir das zentralisieren, soll man eigentlich hinterfragen, ob das wirklich das ist, was zu Europa passt. Und ich bin der Meinung, das passt eben nicht so. Und das heißt, wir können auf ein dezentrales Internet setzen, wir können auf Dezentralisierung bei KI setzen, Wir können Technologien nutzen, die es dann Amerikanern und Chinesen sehr schwierig macht, in unsere Märkte einzusteigen, aber wo es dann uns vereinfacht, wettbewerbsfähiger zu werden. Also ich glaube nicht, dass das so ein negatives Bild sein muss. Ich glaube, dass man als Wirtschaft nur gewinnen kann durch gemeinsame Zusammenarbeit.
31:44
Inga Bergen
Ja, super, also das ist ein perfektes Schlussplädoyer und erklärt einfach auch noch mal gut, was was dich jetzt umtreibt, dann werden wir die Entwicklung weiter beobachten.
31:54
Inga Bergen
Genau. Würde ich sagen. Oder mitmachen halt.
31:56
Inga Bergen
Ja klar, natürlich.
31:58
Inga Bergen
Und natürlich mitgestalten. Hoffentlich, dass viele zuhören, weil es ist immer lustig, es kommen dann sehr viele Ärzte auf uns zu, die dann doch fragen, was kann ich tun? Weil jeder Arzt hat mal diesen Eid von Hippokrates abgelegt. Deshalb kommt ja Hippo von Hippokrates. Und in diesem Eid ist gestanden, dass man Wissen immer Kratz die Steine so mit seinen Kollegen. Und diese Philosophie vom Altruismus, die leben wir halt weiter mit dieser Bewegung oder dieser Alternative, die wir aufbauen. Und das findet eigentlich jeder Arzt toll, wenn ich damit spreche.
32:31
Inga Bergen
Ja, das kann ich mir sehr gut vorstellen. Vielen Dank für das tolle, interessante Gespräch, Bart. Jetzt geht der Hund wieder. Danke, dass du da warst.
32:42
Inga Bergen
Danke für die Einladung.
32:43
Inga Bergen
Vielen Dank, Bart. Wenn ihr mehr über uns und unsere Gäste erfahren wollt, besucht uns unter www.visionäre-gesundheit.de. Visionäre mit AE.
