Folge 93: Digitale Souveränität in menschlicher Hoheit

00:00:04: Dataregender Datenschutz Podcast, der Experten Talk mit Professor Dr.

00:00:10: Rolf Schwartmann.

00:00:12: Herzlich willkommen meine Damen und Herren zum Data Agenda Datenschutz Podcast.

00:00:16: das ist die Nummer drei neunzig heute unter der Überschrift digitale Souveränität in menschlicher Hoheit Und es geht um AI.

00:00:29: Das ist eine Abkürzung für künstliche Intelligenz Und ich spreche heute mit einem kundigen Tabaner in dem Bereich, nämlich mit Al-Yosha Borghardt vom DFKI.

00:00:43: Herzlich willkommen lieber Al- Yosha!

00:00:45: Hallo Rolf!

00:00:47: Ja Klasse dass wir sprechen können.

00:00:49: Wir haben gerade... Wir dutzeln uns sind es immer mal wieder über den Weg gelaufen eine gemeinsam bekannten haben, den wir nicht dutzen aus unterschiedlichen Kontexten.

00:01:03: Das ist Herr Walster und der Walster war in der Datenethik-Kommission mit mir und das war Al Jostras.

00:01:09: Wie hast du gesagt Chef?

00:01:11: Ja also damals unser CEO unserer Oberchef.

00:01:16: Und in der Datendatenethik Kommission gab es keine Oberchefs.

00:01:19: Da gab's nur so gleichberechtigte Menschen die da.

00:01:24: Ich finde, die Jahre ja mittlerweile her.

00:01:28: Aber ich habe da meine Erste intensive Befassung mit KI erlebt und war eine tolle Zeit, war eine sehr lehrreiche Kommission, viele intensive menschliche Beziehungsgespräche untergeführt.

00:01:53: mehr an.

00:01:53: Also es war zumindest mal so, dass wir sehr gut miteinander geredet haben über die Themen damals und ja das hat schon einen guten Spirit gehabt von den Datenedikanten.

00:02:05: Da haben wir was gemeinsam läuft denn ich war ja achtzehn bis zwanzig Mitglied der Enquete-Kommission KI des Bundestages und es war eben auch so eine gute Mischung von Leuten vom Bundestagsmitgliedern von Expertinnen und Experten.

00:02:18: da waren Branchenvertreter, Juristen, Informatiker und so weiter.

00:02:22: Und wir haben das war ja nun vor ChatGBT lange davor.

00:02:25: Das war noch ein ganz anderer Stand von KI über den man damals geredet hat.

00:02:29: aber das war eben auch so dass ich das sehr gut fand diesen Spirit im Raum die Leute kennenzulernen die Leute zu treffen mir am Ende des Tages die Kontakte viel wichtiger waren als der Abschlussbericht.

00:02:39: Ja Ja, also das waren ja unterschiedliche Kommissionen.

00:02:42: Das eine war eine Regierungskommission, das andere war eine Parlamentskommission und die liefen so nebeneinander.

00:02:49: es gab nach meiner Erinnerung eigentlich relativ wenig Überschneidungspunkt.

00:02:54: wir waren ein bisschen mehr unter Zeitdruck glaube ich als ihr aber hat natürlich aufeinander geachtet was man gemacht hat.

00:03:03: unsere war kleiner eure war größer und gemischt.

00:03:08: Und ja, das war eine sehr schöne lehrreiche Zeit.

00:03:17: Für den Podcast heute doch eine interessante Ausgangssituation, dass Deutschland damals relativ früh diese Themen beackert hat und auch die erste Ethik-Kommission zum autonomen Fahren in Deutschland.

00:03:29: Die war ja noch vorher gewesen, die schon mit diesem Thema beschäftigt hat.

00:03:34: Und jetzt Stichwort Digitale Souveränität.

00:03:36: Die Frage, ob dann Deutschland dieses Tempo halten konnte?

00:03:39: Was es damals mal an den Tag gelegt hat.

00:03:44: Digital Souveräen sind wir ja nie gewesen wie auch immer.

00:03:50: Das ist kein deutsches Phänomen das nicht zu sein aber ich glaube da müssen wir daran arbeiten und das ist schon ein guter Einstieg in unser Thema.

00:04:01: Digitare Souveranität in menschlicher Hoheit loslegen.

00:04:06: Wäre super, wenn du kurz noch ein bisschen was zu dir erzählst?

00:04:08: Weil das ist ein

00:04:09: Podcast

00:04:10: für KI interessiert, KI-offene betriebliche Datensungsbeauftragte und die ja wissen vielleicht nicht hundertprozentig, was Du machst, was das DFKI macht.

00:04:25: Und deswegen wäre es super, Wenn Du an der Stelle einfach vielleicht kurz mal paar Takte sagen könntest damit wir das hier immer so richtig eingeordnet

00:04:33: haben.

00:04:35: Ja, sehr gerne!

00:04:36: Ich bin von Hause aus Computerlingoist, habe das also vor dreißig Jahren mal studiert weil ich was mit Sprachen machen wollte aber dachte so Taxifahren nach dem Studium war dann auch nicht so mein Ding.

00:04:45: Also hab' ich da eben diesen Informatikteil dazu genommen und das ist ja eigentlich schon ein Kernthema der KI hat mich aber eigentlich nie als KI-Experten gesehen sondern ich mache halt Computeringoistik, ich mach maschinelle Übersetzung, ich arbeite eben an Sprachthemen Und bin dann so in China dieser Go-Moment waren, man plötzlich aus China auf KI aufsprang und dann eben auch in Deutschland.

00:05:05: Die Aktivitäten haben wir schon berichtet das Thema auf die Tagesordnung kam.

00:05:10: da habe ich dann auch angefangen nachzudenken ein bisschen zu reflektieren was machen wir hier eigentlich?

00:05:14: Ich hab eine Ethik Team am DFKI gegründet.

00:05:18: Ich bin dann immer auch ein bisschen in das politische Berlin eingestiegen und habe viel mit Leuten gesprochen auf Podiumsdiskussionen.

00:05:26: Und mich in den Diskurs über KI eingemischt, da bin ich dabei geblieben, hab meinen eigenen ARD-Podcast inzwischen und rede eben mit vielen Leuten auch über die gesellschaftlichen Folgen von KI Und das Deutsche Forschungszentrum für KI DFKI, bei dem ich arbeite.

00:05:42: Das ist aus den Achten-Achzig gegründet worden vom Wissenschaftsminister Riesenhuber mit der Fliege damals in Kaiserslautern und Saarbrücken gegrüntet wurden um den Transfärz zu verbessern.

00:05:52: Mit der Einsicht die an den Universitäten laufen ganz coole Sachen in Deutschland aber wir kriegen es nicht so richtig auf die Straße.

00:05:59: Naja fast vor dem Jahr zwei tausendsechsundzwanzig Transfäre ist immer noch nicht so wahnsinnig stärke in Deutschland.

00:06:04: hoffentlich lag's nicht an uns.

00:06:05: Hoffentlich konnten wir es ein bisschen besser machen.

00:06:07: Inzwischen sind wir also mit neunundzwanzig Arbeitsgruppen unterwegs, tausend Vollzeitforschende an verschiedenen Standorten in Deutschland.

00:06:14: Wir sind eine gemeinnützige GmbH und ja Public Private Partnership.

00:06:20: einige unserer Sitzländer sind bei uns auf der Aktionärsliste und sonst eben die große Firmen, kleine Firmenmesse, Tech-Firmen aber auch Anbieter von Landmaschinen.

00:06:33: Also eine ganz bunte Mischung eigentlich von Anteilseignern, die wir haben.

00:06:37: Und ich sage mal, wir sind der OBI der KI.

00:06:39: also bei uns findet man alles von der Robotik bis zur NeuromorphenKI, von der Sprachverarbeitung bis zu Bildverarbeitungen usw.

00:06:47: Ja für ein OBI braucht man heutzutage das Werkzeug.

00:06:53: Denn das ist ja am Punkt, der für mich wichtig ist.

00:06:57: Eine KI ist ein Werkzeug, ist ein Produkt.

00:07:02: Gibt Leute die begreifend als Partner?

00:07:05: Da würde ich mich nicht zuzählen.

00:07:07: Das ist für mich ein bisschen schwierig und nicht nur rechtlich schwierig aber zumindest mal die KI-Verordnung.

00:07:14: Die begreift KI als Produkt reguliertes Produkt.

00:07:21: Wir hatten, glaube ich sowohl in der Datenethik Kommission als auch in der Enquete die Idee des risikobasierten Ansatz noch ein bisschen vorgedacht.

00:07:27: Der ja dann auf in der KI-Verordnung in Recht gelassen ist und siehst es ähnlich.

00:07:39: KI Produkt nicht Partner?

00:07:43: Du hast natürlich recht, dass viele Leute KI als Partner als Bearings-Partner einsetzen.

00:07:47: und es gibt ja nun ganz verschiedene KI Typen.

00:07:50: Es gibt die herkömmlichen, sagen wir von den Expertensystemen bis hin zu den alten modischen Maschinen Learning Systeme, die für einzelne Zwecke gebaut wurden diesen klar ein Werkzeug.

00:08:00: da wird man das nicht verwechseln.

00:08:02: Und dann gibt es eben aber heute die großen KI Modelle Die alles mögliche können also vom Sudoku bis zum Jura Prüfung, die alles Mögliche machen können.

00:08:12: Was du machen möchtest und da fällt es einem natürlich ein bisschen schwerer den Abstand zu halten und zu sagen hey das ist nur ein Produkt.

00:08:18: wenn die also mit mir reden, wenn die mehr Therapiesitzungen geben, wenn sie mir in Beziehungsfragen helfen und was Leute alles mit diesen KI-Systemen machen.

00:08:25: Da verstehe ich schon dass es für manche Leute schwierig ist sich davon abzugrenzen denn wir Menschen neigen ja auch dazu.

00:08:32: Ich meine auch wir haben auch zu kuscheltieren oder Autos eine Beziehung.

00:08:36: Ja, also spätestens seit es Tamagotschis gibt weiß man dass man Elektrospielzeug mehr umsorgen kann als in Goldfisch.

00:08:43: ja dann vielleicht im Aquarium gehen die vor die Wunde so goldfische.

00:08:47: Nein ich glaube nicht aber zumindest mal können sie sterben wie echte Lebewesen.

00:08:53: das ganze Tamagotchi natürlich nicht.

00:08:55: und an der Stelle hast du natürlich für mich direkten Punkt erwischt den wir hier gar nicht vertiefen müssen die ich an anderer stelle vertieft habe In Überleben mit Kainbuch, das wir am zweiten Juni rauskommt.

00:09:09: Hast du schon mal reingeguckt?

00:09:10: Ja,

00:09:12: total!

00:09:12: Schon zwei Dritte gelesen sehr empfehlenswert.

00:09:15: Das freut mich sehr und da ist ja meine Kernthese dass die Autonomie etwas ist was ja die Werkzeuge Kain und Tier verbindet mit dem Unterschied, dass ein Tier mit uns fühlen für uns sterben und sich mit und über uns freuen kann.

00:09:36: Ein Zahlenspiel, wie das aber alles nicht kann, wohl aber so tun kann als ob weil es eben unsere Sprache spricht und damit unsere Gedankenwelt erobert auf eine mathematische Weise und das was wir denken kriegt halt einen mathematischen Sound.

00:09:55: und die Abgrenzung, die bei dem Hund nicht schwer fällt Die fällt mir bei der KI mir persönlich auch nicht mehr, weil ich da total drauf achte.

00:10:06: Weil ich mir das einfach zur Pflicht mache und mir einfach klar zu machen, dass ich mit der Zustandslosigkeit rede wenn ich einen Bot vor mir habe Das ist bei einem Hund anders.

00:10:17: mit dem bin ich nicht über Tolstoy aber durchaus über Jahrhundethemen Endenmiss.

00:10:26: Aber

00:10:26: lass uns trotzdem kurz noch mal philosophisch bleiben.

00:10:30: Also das ist so, dass was du sagst diese Autonomie dieses Systeme ja klar Menschen haben sie gebaut, Menschen haben sich mit ganz ganz vielen Trainingsdaten gefüttert und optimiert uns.

00:10:39: soweit aber letztlich machen Sie Dinge die wir ihnen nicht beigebracht haben wirklich also aktiv.

00:10:45: also deshalb sperre ich mich manchmal auch so bei dem Autonomie nennst du das?

00:10:49: Und ich sperr mich deshalb auch manchmal bei den Begriff künstliche Intelligenz.

00:10:52: denn Ist es denn wirklich künstlicher?

00:10:56: Also ich sage mal, wenn ich einen Hefeteig anrühre dann rühre ja verschiedene Dinge da zusammen um ein natürlichen Prozess anzuregen.

00:11:02: Dass der eben aufgeht und eben biologische Prozesse da ablaufen das ist ja auch kein künstliches Produkt.

00:11:07: Das ist in einer künstlichen Umgebung ein natürliches Produkt!

00:11:11: Und ich habe so ein bisschen das Gefühl KI ist so ein bissel in meinem Weltbild sowas wie ein Hefedeig.

00:11:17: Ich tue alles zusammen damit er aufgehen kann und damit er wachsen kann.

00:11:22: Aber letztendlich das Ding ist dann mehr, so hat man ein Gefühl als die Summe seiner Teile wenn ich es mal so platze habe.

00:11:28: Ich

00:11:28: bin nicht voll bei dir, hab auch keinen Stress zu sagen Es ist gar nicht künstlich Das ist ja ein Begriff weil ich weiß woher kommt aber auf jeden Fall ist es nicht menschlich Wenn man will mich von dieser Welt.

00:11:40: Es ist einerseits schon von der Welt Weil unser Weltwissen das ausmacht.

00:11:45: auf der anderen Seite Was so drei Kommunikationsebenen unterscheiden.

00:11:50: Kommunikationsebene eins wären die sozialen Medien, da reden Menschen mit Menschen gemagelt durch Botts.

00:11:59: Das ist KI aber nicht generative KI.

00:12:01: Aber immer noch geht es um die Kommunikion von Menschen.

00:12:05: und dann gibt's die nächste kommunikationsebene, der spricht der Mensch mit der KI im Kommunikierungsraum der Vektoraum, der Zahlen ist.

00:12:14: Da wird es für mich ganz was anderes.

00:12:17: Da hat der Mensch außer den Zahlen keinen Gesprächspartner mehr und da beginnt das Problem der Abgrenzung.

00:12:23: Und dann gibt's die dritte Kommunikationseben.

00:12:25: Das wären Agenten... Der Mensch ist so bestenfalls Beckenrandschwimmer!

00:12:30: Die Agenten regeln das dann.

00:12:33: Die Leine wirft immer länger.

00:12:36: Für mich ist die Frage Künstlichkeit.

00:12:39: Ich finde, ich würde mich nie verkämpfen.

00:12:42: Aber für mich ist es wichtig, dass eben einfach etwas ist was nicht wir sind und auch noch weniger.

00:12:49: wir sind auf eine bestimmte Weise als ein Tier.

00:12:52: Wir sind Und das ist einer meiner zentralen Thesen da muss man höllich aufpassen, dass man da nicht verrutscht.

00:13:02: Da bin ich völlig bei dir.

00:13:03: wollen wir dann mit dem ja mit dem mit der ersten Kommunikationsphäre mal starten mit den sozialen Netzen?

00:13:11: Ja,

00:13:12: du wolltest ja auch ein bisschen über Kindersprechen.

00:13:13: Bleibt es dabei?

00:13:15: Können wir machen also Kinder?

00:13:16: insofern als ich war gerade auch in der Expertenkommission Binder geht's um Gefahren für Kinder Jugend in der digitalen Welt.

00:13:28: über Einzelheiten kann und muss sich nicht reden.

00:13:30: aber was wir Und das ist ein großes Problem aus meiner Sicht.

00:13:37: Ist ja auch gerade jetzt bei der Republik, die übrigens diese Woche startet und wo du ja auch vertreten bist.

00:13:45: Auch noch mal ein Thema und zwar sogenannte Companions.

00:13:48: also für mich war meine Tochter vor machte nur heute auch noch Snapchat aber da tat ihr auch schon vor ein paar Jahren.

00:13:59: Da habe ich mir das mal angeguckt und dann hab' ich gesehen, dass Snapchat direkt in sich verbaut MyAI hat.

00:14:05: Und das würde ich mal sagen ist ein Companion!

00:14:07: Das Ding lädt sich da hoch ohne dass ich mich wehren kann und ist einfach an den Kontakten.

00:14:14: Wenn ich mir überlege, der sich mir anbietet, kann ich als Tamagotschi vor dem ich eigentlich keine Sorge habe, dass mein Kind abhängig macht.

00:14:21: Aber bei MyAI ist es schon so... geschrieben, was man da irgendwie bequatschen kann.

00:14:31: Und wenn man sich dann überlegt, dass es noch so etwas wie Suicide Coaches gibt die in den USA einfach gar nicht mal aus einem Companion, also aus normalen ChatbTT gemacht hat.

00:14:44: Du bist jetzt irgendwie einer der soll mir erklären, wie man sich umbringt.

00:14:48: Willst du das denn selber nehmen?

00:14:50: Ich will noch ein Buch darüber schreiben.

00:14:51: und schon ist man halt irgendwie beim Galgen bauen usw.

00:14:55: Das ist aber das Ding.

00:15:02: Es ist ein riesiges gesellschaftliches Problem, denn du hast ja hier auch einen Companion von einem bestimmten Typ und zwar mit einem hohen Suchtfaktor.

00:15:10: Und da sind sich ja Social Media.

00:15:14: Sie versuchen ja die Nutzerinnen und Nutzer möglichst lang bei sich, bei der Stange zu halten.

00:15:18: Es ist nicht ihr Ziel, ich gebe dir irgendwie eine Hilfe oder einen Tipp oder so und dann kannst du rausgehen ins Leben, kannst mit deinen Freundinnen und Freunden spielen auf der Straße und diesen Tipp benutzen, sondern das Ding ist ja, ich möchte dich von mir abhängig machen!

00:15:30: Du sollst immer wieder zurückkommen, du sollst Tokens bezahlen, du sollte Werbung gucken.

00:15:34: Du solltest sozusagen in dem digitalen Raum hier möglichst viel Zeit verbringen.

00:15:39: Und das ist ja das Gefährliche daran und das macht diese Companions für mich gefährlich.

00:15:44: Und dasselbe oder was Ähnliches passiert auch jetzt mit der KI Suche, wo man eben von der normalen Websuche wegkommt hin zu einer KI-Suche so dass die Informationshoheit also immer die... Das Wissen der Welt nur noch durch KI vermittelt wird oder eine Generation aufwächst, die damit von Anfang an Die einfach keine normale Bibliotheksrecherche mehr, keine normale Internet-Recherche mehr kennengelernt hat.

00:16:09: Sondern von Anfang an eigentlich Wesensbröckchen vorgekaut bekommt von KI System und die noch mal zu motivieren zu sagen hey recherchier das nochmal nach guckt doch nochmal anders drauf oder so.

00:16:21: Das wird glaube ich eine riesen Riesenaufgabe und für die Demokratie Auch ein Riesending, das weißt du auch.

00:16:27: Qualitätsinhalte werden nicht mehr gefunden.

00:16:30: Produkte werden nicht gefunden.

00:16:31: Du willst den neues Fahrrad kaufen?

00:16:32: Du fragst den Chatbot der wird dir einen Fahrrad empfehlen.

00:16:34: Du wirst das Fahrrad kaufen oder der gibt dir gleich einen Bestell link dann in kürzester Zeit.

00:16:39: Das heißt dann nöp.

00:16:39: Dann sind wir auch wirtschaftlich riesige Verzerrungen im Anmarsch demokratisch verzerrung und im Anmasch Und das betrifft eben auch gerade die Kinder oder die dies nicht mehr anders gekannt haben.

00:16:50: Wir sind ja möglicherweise noch so drauf dass wir sagen okay diesem Tipp vertraue ich vielleicht nicht, wobei ich das auch im Familienkreis schon anders erlebt habe.

00:16:58: Chatbot empfiehlt den folgenden Kopfhörer muss gut sein.

00:17:02: Das sind Dinge die gehen leider sehr schnell und das ist die Herausforderung.

00:17:07: Ja also um mal noch einen draufzusetzen.

00:17:10: Also redest ja noch von dem Browser der AI-Oberzeit von Google.

00:17:15: Da haben wir in Prinzip so noch diesen Dualismus.

00:17:18: wenn ich weiter runter gehe dann sehe angezeigte Ergebnisse, aber ich kriege halt irgendwie die Zusammenfassung.

00:17:27: Wenn ich mir jetzt vorstelle dass Atlas noch stärker ins Gespräch kommt das ist der ja der Browser wenn man so will von von Open AI da wird er dann näher weniger Google und soweit übersprungen und das werden für meine Begriffe sehr interessante verwirken.

00:17:42: habe ich hier den Flaschenhals der Flaschenhälse?

00:17:46: oder wie siehst du das mit Atlas?

00:17:47: Ja

00:17:49: Roberto Simanovsky in seinem Buch Die Sprachmaschinen, mit dem ich auch der Republiker auf dem Panel sein werde, er nennt das die Verhindlerungsbibliothekaren.

00:17:58: Er sagt statt dass du in die Bibliotheke gehst Und die Bücher anguckst, sagt die Bibliothek Karin dir alles.

00:18:03: Die hat alle Bücher gelesen und du fragst sie.

00:18:05: also kannst du mir die Gefahren von Kernkraft zusammenfassen?

00:18:08: Oder kannst du mehr mal was zur Abtreibung sagen oder kannst du mich etwas keine Ahnung was harmloses zu Fotosynthese was sagen und diese Bibliothekarin wird es dir sagen.

00:18:15: dann kannst du nachfragen und sie wird antworten aber du gehst nicht mehr in die Bibiliothek.

00:18:18: das ist das Bild was er bemüht.

00:18:21: Jetzt mache ich der mein Parallelbild auf was ich die ganze Zeit schon habe und zwar weißt Du was ein Schleifendpony ist?

00:18:27: Ich hab's in deinem Buch gelesen

00:18:29: Schau an, dann bist du ja ein Schritt weiter.

00:18:31: Der Schleifenpony ist was ganz Besonderes.

00:18:34: Ein Schleifendpony is'n Fachbegriff aus dem Rheidsport.

00:18:37: den kannte ich auch selber nicht.

00:18:40: Dann sagt er meine Frau unser Hund der ist ja so etwas wie einen Schleiffenpony.

00:18:44: die meinte und da iss uns Streber weil der Schleivenpony sind Pony's die viele Schleife kriegen ne?

00:18:50: Und dann habe ich mir gedacht ist das ein Schleiefendponny oder ist es ein Schlivenpony?

00:18:53: Und da hab ich Chat gebt das ist ein Schlaifenponey.

00:18:55: was krieg ich?

00:18:55: Pony wie Conny mit der Schleife im Haar Das ist natürlich in meiner Erlebniswelt ein Schleifendpony.

00:19:02: Jetzt stell dir mal vor, du siehst einen Pony mit einer Schleife im Haar und denkst an Conny dann fragst Du nie mehr weiter!

00:19:08: Dann zeig Dir die Bibliothekarin etwas oder bist zufrieden.

00:19:12: Gehst Du aber dann auf die Seite weil Du weiter Dich klicken willst.

00:19:23: In der normalen Google Suche landest Du bei www.schleifenponyde Und auch www.schleifendpony.de erfährst du, dass ein Schleifenpony gar kein Streber ist, sondern ein Kellner.

00:19:34: Sprich ein Pony was die Schleife bringt.

00:19:36: Füllst du also beim Reitunier als Praktikant angestellt und der Chef sagt buch mal einen Schleifenpony!

00:19:42: Und du bringst den Schleiffenponey was die Fleifen gewinnt anstatt das sie bricht.

00:19:46: Das ist ein

00:19:48: Rieseproblem.

00:19:50: Genau, aber was an der Stelle eben finde ich ein sehr praktisches Lebensnahes Beispiel.

00:19:56: Das nennt man in den Kategorien der KI-Verordnung Automatisierungs bei.

00:20:00: ist das die Neigung des Menschen nicht mehr zu denken und nicht nachzufragen am Ende des Tages verwandt mit dem Elyse Effekt von Weizenbaum dass du eine Maschine schlicht vertrausen?

00:20:14: wenn es noch so plausibel ist wie beim Schleifendpony Ja, dann ist die Welt auf einmal nicht mehr die Welt.

00:20:20: Sondern es

00:20:20: wird halt einfach

00:20:21: abgeschnitten.

00:20:22: Dann ersetzt einfach Plausibilität Wahrheit.

00:20:25: So ein Klick Plausibel muss wahr sein.

00:20:28: Wahrscheinlichkeit

00:20:29: gleich Plausilität und gleich Wahrheit.

00:20:33: also so würde ich mal sagen ist das schon eine andere Welt in der wir

00:20:39: da leben.

00:20:40: Also das siehst du auch als großes Risiko?

00:20:41: Das große Risiko Und ich habe den Eindruck, das wird gar nicht so laut diskutiert.

00:20:46: Wie es diskutiert werden müsste eigentlich was da gerade im Moment und zwar sehr schnell mit uns passiert.

00:20:51: Ja man hat immer noch den Eindrug.

00:20:52: Ich hab so den Eindung die KI-Verordnung.

00:20:54: du hast gesagt ja Risiko basiert usw.. Die hatte damals so im Sinne, na ja wenn dann jemand meinen Kredit nicht bekommt oder wenn man ein falsches Medikament von KI empfohlen wurde.

00:21:03: Oder das autonome Automahnunfall verursacht wie es dann haftbar und hätte man aufklären müssen usw.

00:21:08: Und was gibt's da Beweislastum?

00:21:10: Das denkt danklich alles schön und gut!

00:21:12: Ja das ist natürlich auch alles wichtig.

00:21:13: Niemand sollen falsches medikament bekommen oder die Autos sollen nicht unnötig viele Unfälle bauen.

00:21:18: aber das war natürlich auf eine Vorstellungskraft von damals.

00:21:21: und was wir heute erleben Ist die Frage, sind wir eigentlich darauf vorbereitet auch im Regulierungsdiskurs schnell genug zu reagieren?

00:21:30: Wenn wir jetzt verstehen was denn gerade passiert.

00:21:33: Ja also wir haben uns geeinigt, die Kompendien sind für die Kinder schwierig da muss etwas passieren.

00:21:42: Was das sein wird, muss man mal sehen.

00:21:44: aber auf jeden Fall haben wir damals gepflegt ist ein Problem.

00:21:49: Dann verlassen wir das und kommen zu einem nächsten Thema.

00:21:53: Und zwar, dass wäre die menschliche Entscheidung über eine generierte Vorliege.

00:22:04: Du hast die KI-Verordnung angesprochen.

00:22:07: Die macht ja ein sogenanntes risikoorientiertem Ansatz auf.

00:22:12: Es gibt Sachen, die sind verboten, das sind wenige.

00:22:15: Du kannst noch so ein Spaß an Social Scoring haben, kannst vergessen.

00:22:18: Endes wenn der Asbest verbauen möchtest.

00:22:20: So dann haben wir Anwendungsfälle.

00:22:23: die sind Hochriskannte sind eher wie Röntgenstrahlen, keiner will darauf verzichten.

00:22:28: Du hast natürlich kein Röhnchengerät bei dir im Keller wo du sagst ich guck mal eben ob meine Knochen noch alle sitzen sondern das ist ein.

00:22:35: heutzutage sind das über uns MRTs auch Hochrisiko.

00:22:37: KI Systeme schon die auf eine ganz besondere Weise natürlich auch schon dieses medizinische Personal führen.

00:22:43: und Schulen da hat man das schon stark so.

00:22:46: und da will die KI Verordnung dass sie auf ne ganz bestimmte weise stabil gebaut werden.

00:22:53: Artikel six bis neunundvierzig gibt dafür regelend vor, auf der Werkzeug eben.

00:22:59: Und da gehört eine menschliche Stocktaste und dazu.

00:23:04: Und dann gibt es GPAI.

00:23:07: Und GPAI ist ja im Prinzip das, wo man alles mitmachen kann.

00:23:13: Alles viel.

00:23:15: Wo wir nur das mit machen darf was erlaubt

00:23:18: Also General Purpose AI gegen

00:23:21: allgemeine KI.

00:23:23: Jetzt

00:23:23: kommt der Podcast Host in mir durch die Begriffe erklärt?

00:23:26: Ja, total!

00:23:27: Du bist das ja... Genau, das stimmt.

00:23:29: Und jetzt habe ich insofern ein Problem mit GPI weil man damit so hat sich das ja gezeigt alles machen kann.

00:23:40: wenn ich Privatmann bin, kann ich mir eine Diagnostik von dem geben lassen und dann gilt die KI vor.

00:23:45: Jetzt bin ich aber Arzt und frag noch mal eben die KI, ob das geht.

00:23:51: Und an der Stelle erleben wir was, was für Meinungen von der KI-Verordnung so nicht vorgesehen ist nämlich dass man mit GPEI Dinge tut, die dafür nicht gemacht sind.

00:24:03: So als ob ich mit einem Taschenmesser einen Lufträuernschnitt mache als Arzt nur weil es kann.

00:24:10: Und weil ich nicht darauf wachte bis sich das Skalpelle mir genommen hat, siehst du auch so?

00:24:15: Das ist für mich eine ganz harte Entwicklung dass eben auch Unternehmen, das Aleph Alfa sein oder andere die sich mit dieser Qualität von europäischen KI durchsetzen wollten.

00:24:28: Oder DIPL streicht Stellen?

00:24:31: Meine persönliche These ja warum braucht man DIPЛ noch wenn ChatGPT das alles kann?

00:24:37: und das ist eine besondere Art von KI.

00:24:42: Wir brauchen etwa für den medizinischen Diagnostik und das wird mit ChatGPP gemacht.

00:24:47: Ich habe das immer andersrum gesehen aus der anderen Perspektive, ich sage jetzt mal aus der Entwicklerinnenperspektiven vielleicht auch aus der Open Source Entwicklerperspektive.

00:24:55: Hab immer gedacht wie kann ich denn als irgendwie was weiß ich Doktorandin oder so die jetzt irgendwie einen Bilderkennungssystem gebaut hat auf irgendwas trainiert hat?

00:25:05: Wie kann ich dann wissen ob später jemand damit Hautkrebsdiagnose macht?

00:25:08: und wie kann nicht in eine Warnung reinschreiben bitte nicht für XYZ oder so verbinden wenn ich gar nicht weiß was sozusagen auf der anderen Seite alles damit gemacht werden kann.

00:25:18: Da habe ich immer gedacht, wie kann man denn mir – und das gibt ja natürlich auch Ausnahmen für Forschung oder so, aber ich habe über den Eindruck, dass diese KI-Verordnung Romantisch gedacht war, da hat ein Mensch eine Produktidee, sucht sich die Daten aus.

00:25:35: Baut den Algorithmus, baut das Modell, bau eine Schnittstelle davor und ein Interface davor.

00:25:40: Diepläut das und wird es auch zehn Jahre lang betreiben?

00:25:43: Und dann kann ich an jeden dieser Stellen pieksen und kann sagen aber Rolf du wusstest doch damals dass Du ne Hautkrebserkennung baust.

00:25:48: und die Realität ist natürlich die Leute bauen was und andere Leute nutzen's für andere Zwecke

00:25:53: Ja.

00:25:54: Aber jetzt an dem Punkt eine ganz üble Geschichte der KI-Verordnung, insofern weil es so hart ist.

00:25:59: Was du sagst?

00:26:01: Ist ja ein ganz zentraler Punkt der KI Verordnung.

00:26:03: Was kann der Hersteller des Taschenmessers dafür, wenn er mit einem Lufthochenschnitt macht?

00:26:07: Was kann da entwickler einer KI dafür, dass man damit etwas macht was nicht GPRIS?

00:26:12: und für genau diesen Fall gibt es in der KI Vorordnung einen Paragrafen, der sagt für GPEI, für allgemeine Verwendungszwecke.

00:26:23: Für einen spezifischen und hochskanten Zweck einsetzt er wird dadurch zum Anbieter.

00:26:30: sprich die KI-Verordnung sieht das ja.

00:26:32: Die sagt du hast das entwickelt von mir den Vorwerfen dass du es gemacht hast.

00:26:37: sie nimmt den Betreiber oder den Verwender der dies einsetzt in die Pflicht und sagt dann wird ihr halt anbieten.

00:26:45: und das ist eine unglaubliche Kräule des KI Gesetzes wo man sagen muss, das muss man schon wissen.

00:26:54: Ja, das wusste ich auch nicht!

00:26:55: Habe ich in deinem Buch gelesen?

00:26:57: Das ist ja würde ja das was ich früher immer gesagt habe schützen sozusagen der wissenschaftler die wissenschaftlerin die irgendwas baut kann eben nicht wissen oder denjenige der enttaschenmesser baut dass später damit jemand unfug oder was macht wofür es nicht geeignet war.

00:27:10: aber das interessante ist jetzt mal wenn ich mal jetzt gucke Und du hattest ja vorhin gesagt, Hochrisiko ist sowas wie Medizin und Röntgengerät.

00:27:16: Und so hoch Risiko ist aber auch was wenn auf dem Amt wie jemand Wohngeld oder Kindergeld daseins vorsorgen.

00:27:25: Und jetzt sitzt hier im Amt, bei mir im kleinen Amt.

00:27:29: Hier jemand der hat jetzt einen privaten Laptop mitgebracht oder die weil da alles viel zu viel ist und die Akten sich da stapeln auf dem Tisch und die Bürgerinnen und Bürger kriegen ihr Kindergeld oder ihr Wohngeld oder irgendwas nicht zeitig und sagt sich komm ich lade jetzt da mal ein bisschen Zeugs vor meiner Ablage bei GPT hoch und lasse mein paar E-Mail schreiben und meine Nachfragen machen und formuliere mal ein paar Dinge damit ich hier irgendwie zur Rande komme.

00:27:49: dann wird diese Person Damit zum Anbieter von KI, einer Hochrisiko-KI.

00:27:54: sehe ich das richtig?

00:27:56: Das siehst du richtig.

00:27:59: Also mal Datenschutz nochmal ausgeklammert.

00:28:02: Wir

00:28:02: gucken uns gleich an.

00:28:04: Du kommst zu dem Problem was du gar nicht, wenn du den Datenfluss einhältst.

00:28:10: Aber diese Stelle die du da hast ist ganz relevant und da kann man nicht genug darauf hinweisen.

00:28:16: Also eigentlich ist es doch richtig so.

00:28:19: Was kannst du dafür?

00:28:20: Du sagst hier, das ist ein Werkzeug wie ein Schweizer Taschenmesser, damit kann man alles mögliche machen.

00:28:25: und dann gehst du hin und sagst auch wunderbar!

00:28:27: Dann mache ich da einfach mal einen Lufträuernschnitt.

00:28:29: Und aus dem Hinbezwilm hat er werden davon geredet.

00:28:31: Ja wieso geht doch?

00:28:33: Wir haben natürlich keine Gefahrerfahrung mit den Bots.

00:28:37: bei körperlichen Gegenständen weiß ich, ein Messer ist Scharffeuer ist heiß ja klar.

00:28:41: aber wir haben ja hier wie der Charakter von Stiglasen.

00:28:49: Ich glaube, das heißt Anna Ghesi... ich habe es im Buch geschrieben und nachgeguckt, du hast keine körperliche Schmerzerfahrung.

00:28:56: Du hast eine krankhafte schmerzintolerant!

00:28:58: Das haben wir hier alle.

00:29:00: Weißt du?

00:29:00: Wir setzen das Ding für Medizinische dir.

00:29:03: Ja aber es kann ja auch sein.

00:29:05: Ich hatte die Frau, die in München die Digitalisierung macht.

00:29:08: Mal im Podcast oder eine von den Leuten da, die sagt in Münchendaude ist zwei Jahre bis ein Wohngeldantrag beschieden ist.

00:29:13: Es gibt ja sogar einen Übergangsgeld.

00:29:14: was du dir denn vorher noch holen kannst?

00:29:17: Wie groß wäre der Schaden jetzt wenn ich jetzt da einfach hingehen würde, würde trainieren auf vergangenen Wohngeldentscheidungen und wird die mal einfach mal alle abarbeiten?

00:29:24: Würde die einmal durchjagen.

00:29:25: klar es werden Fehler passieren das werden Leute zu Unrechtwohnengeld kriegen es werden Leute zur Unrecht kein wohnengelt kriegen.

00:29:31: Ja die einen werden sich freuen die anderen werden hinterher vielleicht klagen oder irgendwas tun, dass ich will nicht sagen, dass sich diese Schäden gut finde.

00:29:37: Ja aber das ist doch auch eine Sicht auf die Dinge zu sagen hey wir machen mal unsere Erfahrungen vielleicht entfernen wie uns auch mal ein Stück weit von dem Ziel, dass alles gut läuft um danach dann aber wieder in den Zustand zu kommen wo wir das alles aufwischen einfangen richtig regulieren beweisbare Eigenschaften einen System bauen vor einem extra Anbieter und dann ist alles gut.

00:29:56: Aber Ich bin vielleicht romantiker aber so stelle ich mit es manchmal vor ja Ist es dann wirklich so schlimm?

00:30:02: Also dazu zwei Sachen hätte man so sehen können.

00:30:05: Die KI-Verordnung hat es nicht so gesehen, sie hat halt gesagt ich parzialiere Bereiche beraus sind weniger, fünf bis acht Prozent erlaubt aber vergabe öffentlicher Leistungen und so weiter.

00:30:17: medizinische Diagnostik der kann sich sagen lass einfach mal hier eine Medizin.

00:30:21: KI in JetGip mit dem wir eben diagnostizieren

00:30:24: machen die Leute

00:30:26: Wie sind Privatleute.

00:30:27: für die gilt es nicht?

00:30:28: Als Arzt habe ich ein Hipprokatis angeleistet, drei Staatsexade ist natürlich interessanter Vorgang zu sagen.

00:30:35: Stell dir vor du würdest deine Oma erzählen, er lebt lang nicht mehr.

00:30:38: aber ganz, ganz kluge Frau.

00:30:40: Hätte ich der Herr Oma weiße was das gibt.

00:30:42: Du brauchst gleich beziehbar.

00:30:43: Es geht auf jedes Dein Sozialen Ding rein und da kriegst du eine Diagnose.

00:30:47: Ehrlich glaube... Ist das so mein Jung?

00:30:50: ne?

00:30:51: Es ist so, also kannst du noch nicht machen.

00:30:54: So ich meine das ist so dieser Menschenverstand.

00:30:55: Ich mein einerseits hast Du recht wir haben uns daran gewöhnt.

00:30:59: aber Das bedeutet ja die KI-Verordnung Die hätte das auch so sehen müssen.

00:31:04: und was dir gemacht hat ist zu sagen Wir wollen dass medizinische Diagnostik wir wollen das Kindergeld wir wollen dass alles gemacht wird.

00:31:11: Aber wir möchten bitte dass wir eine belastbare KI bauen Und das ist dann auch kein Hexenwerk, aber es ist eben was anderes als mit einem Taschenmesser.

00:31:23: Mit nicht gehärtetem Stahl und nicht steril in Operation machen.

00:31:28: Und diese Idee der KI-Verordnung?

00:31:30: ich habe bis heute noch wenn ich da mal nüchtern drauf gucke Schwierigkeit zu sagen sie wäre schlecht.

00:31:35: Ich finde das egal was die Chinesen die Amerikaner und wo auch immer der Welt das passiert machen.

00:31:41: Ich muss echt sagen ich find das gut hätte von mir sein können.

00:31:47: Aber das ist wirklich ein Punkt, den habe ich oft mit Leuten diskutiert.

00:31:51: Auch jetzt mal ganz bisschen zu abstrahieren.

00:31:53: Ich sage mal von den Hochrisikofällen im Allgemeinen auch wenn es nicht um Hochrisiko geht.

00:31:58: Wenn es vielleicht geht was für meine Steuerunterlagen hier zu sortieren die Frage Früher habe ich immer gesagt, eindeutig ein kaputter Analoga-Prozess ergibt auch einen kaputten Digitalprozess.

00:32:08: Ihr müsst erst die Prozesse gerade ziehen, klären, die Daten bereinigen, Verantwortlichkeiten klären und so weiter und sofort.

00:32:15: Und dann macht ihr Digitalisierung und dann macht hier KI.

00:32:18: Das ist so ein Dreischritt oder so habe Ich immer gesagt sonst wird das nix.

00:32:22: Aber andere sagen und haben mich fast überzeugt, sagen hey diese kaputten Prozesse mit allen möglichen Gedönste.

00:32:28: Frau Müller zwischendurch anrufen und so weiter und dann noch mal hier in die Maske gehen und nochmal dort was nachschlagen und da nochmal irgendwo auf den Dachboden gehen und eine Akte rausziehen.

00:32:36: ich sag mal lasst das den Agenten triggern und machen wir kleben erst einmal ganz grob Thesafilm oben drüber mit KI Dann kommen wir überhaupt mal voran In dem Fachkräftemangel und Arbeitskraftemangel denen wir haben.

00:32:47: Das ist natürlich hinterher ein überklebter kaputter Prozess.

00:32:50: keiner versteht mehr so genau die Daten darunter mit der Zeit.

00:32:53: Aber das war eben mein Punkt.

00:32:55: Das mag aber valide sein zu sagen, wir machen das doch mal in drei Teufelsnamen bis wir wieder die Füße auf dem Boden haben unsere Erfahrungen haben um dann den richtigen von dem du sprichst den mit den beweisbaren Eigenschaften wo nichts schief geht also wenn wir zum Beispiel Nicht mal Testdaten haben oder nicht einmal uns über die Qualitätsmaße einig sind.

00:33:14: Wie wollen wir eigentlich testen, ob das ein guter Prozess ist?

00:33:17: Das wäre ja die Voraussetzung zu sagen, ob es ein gutter Prozess von dem du sprichst Wenn ich nicht mehr weiß was eigentlich die Grenzen der Technologie sind wie ich dir auf Herz und Nieren testen soll weil ich sie überhaupt nicht kenne Ja ist das finde ich schon auch einen Punkt vielleicht nicht im Hochrisikobereich aber anderswo zu sagen hey komm einfach erstmal Cloud Code auf deine Kiste schmeißen der alle Rechte geben und sagen make it happen.

00:33:40: Aber im Hochrisikobereich ist es halt rechtlich anders geregelt.

00:33:45: Das kannst du sagen, das sind die KI-Verordnungen mir auch, da wirst du ein Anbieter und irgendeiner muss halt die Birne hinhalten für die falsche Diagnose oder für das Kindergeld usw.

00:33:58: Und ich verstehe den Punkt total.

00:34:01: Es ist eines meiner größten Verständnisse, was ich habe für Menschen die mit der Regulierung an der Stelle nicht so vertraut sind.

00:34:11: Ich bin auch keiner, der es machen muss, muss man ehrlicherweise auch sagen.

00:34:14: Also ich

00:34:16: darf ja mich darauf beschränken selbst zu denken und gehabt das noch alles im Griff.

00:34:22: Ich muss jetzt irgendwie nicht... Was war's denn ich?

00:34:26: Große Sachen regeln

00:34:28: usw.,

00:34:29: aber Die Triehverordnung sieht es jedenfalls, das kann man ganz klar sagen an der einen Nahtstelle so wenn du es machst so was Pipi Langstrumpf kann natürlich mit dem Affen auf der Schulter rumlaufen.

00:34:41: Überhaupt kein Problem, ich habe Zeit zum gelesen.

00:34:42: Das war eine ziemliche Schweinerei, wer hat die immer auf den Schultern gepinkt?

00:34:45: und das war ganz furchtbar mit dem Affen.

00:34:47: aber man kann's natürlich machen Aber kannst auch ein Pferd auf die Veranda halten wie Pipi langstrumpff nur wenn er die Verand da durchbricht Da kriegst du natürlich Stress, deswegen.

00:34:56: Und das ist letztlich auch die Logik der Katniefverordnung so hart wie sie ist.

00:35:00: Also ich sehe einen totalen Punkt.

00:35:02: Das ist ein ganz blöder Vorgang für die Anwender, die Probleme lösen wollen, sei es der Staat oder wie auch immer.

00:35:13: Aber ich fasse den Punkt natürlich, den ich seh bei dich.

00:35:15: Ich sehe auch beide Sichtende.

00:35:16: wir können uns hier nicht für die eine oder andere entscheiden aber das ist wirklich das echte Zwickmühle vielleicht sogar ein echtes Dilemma wo man Stichwort Birne-Hinheiten finde ich aber auch gut, weil das ist ja nur so ein bisschen meine These.

00:35:28: Vielleicht haben wir in der alten Welt schon vor KI und so weiter uns so stark überreguliert und eingepärcht in unsere Entscheidungsmöglichkeit mit dem guten Ansatz Willkür zu vermeiden.

00:35:42: Alles sollte geregelt sein, jeder Ausnahmefall jedes Eventualität die irgendwann auftreten könnte im Prozess sollte vorher gereglt sein.

00:35:48: deshalb dauert es in München zwei Jahre bis das Wohngeld da kriegst du nach neun Monaten Post vom Amt ja endlich, ah bitte noch die Geburtsekunde ihres zweiten Sohnes nachreichen und dann dauert's nochmal ein Jahr weil wir eben alles sozusagen so genau prüfen ob man vielleicht irgendwann doch mal wieder ich sage nicht zu willkür kommen muss aber zu einem Moment kommen muss wo KI Ganz viel Grundrauschen wegnimmt und wo dann die Fälle vielleicht erst auftauchen.

00:36:11: Im Longtail sozusagen, wo Menschen auch mal die Birne hinhalten müssen und sagen hey dieser Wohngeldfall hier der ist wirklich verzweckt denn da kommen ein paar Sachen zusammen.

00:36:20: an die haben wir nicht gedacht das wäre früher einfach durchgerutscht.

00:36:23: jetzt hat die KI mir den ausgesiebt und hat gesagt Rolf jetzt entscheide Mal kriegt die Person jetzt Wohngeld oder nicht?

00:36:28: ja und jetzt kannst du Münze werfen.

00:36:29: oder so ich meine Theorie ist oder meine Vermutung, dass wir Menschen werden vielleicht in der Zukunft sogar wieder mehr Verantwortung übernehmen müssen an der einen oder anderen Stelle.

00:36:39: Wenn wir mit KI arbeiten als vorher weil wir möglicherweise auch an Zeugs und dann Fälle dran kommen ja Entscheidungen zu uns dann hochkommen die wir sozusagen die im alten System einfach durchgerutscht

00:36:52: wären Deswegen der Verantwortung an dem, was kein Responsible AI gibt.

00:36:56: Also alles was ein Agent mit seinem Konto kauft ist es so.

00:37:01: und also ich meine das heißt die länger die Leinen.

00:37:04: Ich kann meinen Runden natürlich sagen immer pass auf die ganze Siedlung auf nicht nur auf mein Haus und dann beißt er die Postboten in der ganzen Siedelung.

00:37:13: Da habe ich natürlich sagen meinen Chefkreis, da war eine Sättung mein Häftungsproblem gelöst.

00:37:18: Also ihr gehaften ohne hinten.

00:37:23: Also, wir hatten im Vorfeld drüber geredet.

00:37:25: Du sagst, du würdest ganz gerne die automatisierte Einzelentscheidung nochmal besprechen?

00:37:29: Ja!

00:37:30: Das ist ja jetzt genau der Übergabepunkt.

00:37:32: Die KI-Verordnung regelt den Betrieb und die Entwicklung von KI-Modellen, KI-Systeme.

00:37:39: Jetzt haben wir gerade davon gereden, dass man ein KI System verwendet.

00:37:46: für den Zweck, für den es irgendwie nicht gemacht ist.

00:37:48: Dann habe ich das Problem, dass sich KI-rechtlich mit dem Werkzeug unterwegs bin, wo es eine Sanktion vergibt und ich werde anbieten.

00:37:55: Ich muss dann halt die Pflichten das Taschenwasser herstellen.

00:37:57: Das gibt es sonst nicht aber da gibt's

00:37:59: das.

00:38:00: Lassen wir das mal weg und gucken mir an einen Stelle dieser KI-Verordnung lässt andere Rechte unberührt?

00:38:07: Ist auch normal!

00:38:12: Nur weil es die Straßenverkehrsordnung gibt, muss ich jetzt das Zivilrecht nicht mehr beachten.

00:38:16: oder wenn ich mit einer Bananschale über die Straße gehe kann man ja abfallrechtlich nichts passieren.

00:38:22: Wenn ich die Bananen hinter mich dauerl... Ich bin ja straßverkehrswächtig reguliert.

00:38:26: Das ist normal, ne?

00:38:27: Dass du halt unterschiedliche Regulierungszugriffe auf einen Lebensachverhalten hast und den hast Du auch hier.

00:38:32: Und jetzt kommt das was aus meiner Sicht Ja, ich meine gerne mit dir diskutieren würde, zumindest mal spiegeln würde und zwar Longtail hast du besagt, Verantwortung?

00:38:44: Ja.

00:38:44: Seit dem Jahr zwei Tausend Achtzehn gilt die Datenschutz-Grundverordnung.

00:38:48: Die Datenschuess Grundverordnung hat einen interessanten Artikel und zwar heißt es da automatisierte Entscheidungen im Einzelfall einschließlich Profilingen.

00:38:58: Da steht drin das betroffene Person also jeder der eine Entscheidung unterworfen wird, dass Recht hat nicht ausschließlich einer automatisierten Verarbeitung behohenden Entscheidungen unterworven zu werden die ihr gegenüber rechtliche Wirkung entfaltet oder sie ähnlicherweise beeinträchtigt.

00:39:17: Das ist ein interessanter Satz, was es damit gemeint?

00:39:22: Der Mensch hat das Recht, dass nicht ein Roboter über einen entscheidet.

00:39:26: Heiß spielen!

00:39:30: Du bist in der Schule und die Lehrerin lässt sich bisschen helfen bei der Bewertung einer Klassenarbeit, indem sie die einfach mal bei Chat Gipetee reintut und dann noch irgendwie andere vergleichen.

00:39:48: Dann sagt, guck mal hier Chat Gepetee.

00:39:49: was ist das so?

00:39:51: Man gibt Chat Gapetee eine Note und da sagt man aber ein bisschen zu streng oder ein bisschen locker.

00:39:57: ich geht mir ein bisschen mehr oder weniger.

00:40:02: Ich würde sagen es ist ein Fall der dir einleuchtet

00:40:05: Der leuchtet mir ein und deshalb würde ich gleich kontern mit einem lassungs- ne handgreiflicheren Fall nehmen.

00:40:10: Ich habe das auch damals in der Datenschutzgrundverordnung gelesen, und dann bin ich in die Begriffsdefinitionen der Datenschutzgrundverordnungen gegangen.

00:40:17: Da werden ja jede Menge Begriffe definiert, die da verwendet werden aber es wird weder definiert was eine Entscheidung ist noch was denn eine automatisierte Entscheidung ist.

00:40:25: Und ich sag mal woher ich komme?

00:40:26: In meiner Welt entscheiden Menschen die dann eben auch dafür gerade stehen können.

00:40:30: Und Maschinen können gar nicht entscheiden, das ist mal mein erster Punkt und deshalb weiß ich nicht genau was eine Autosprachwissenschaftler oder was eine automatisierte Entscheidung ist.

00:40:38: Ich kann mir natürlich ne automatisierte Entscheidung vorstellen nach dem Motto Wenn deine Wohnung weniger als hundert Quadratmeter hat und du weniger als tausend zweihundert Euro brutto im Monat verdienst Dann hast Du ein Anrecht auf Wohngeld in Höhe von sechshundert euro.

00:40:51: Ja Das muss nicht irgendwie Lucia oder Rolf sondern das kann man natürlich automatisch.

00:40:56: Da steht darunter, dieses Dokument wurde irgendwie maschinell erstellt und ist auch ohne Unterschrift gültig

00:41:00: usw.,

00:41:01: aber das ist keine automatisierte Entscheidung, sondern dass es eine Entscheidung die hat das Amt nach rechtlichen Vorgaben getroffen und die Maschine hat's umgesetzt.

00:41:08: Es war nicht der Drucker oder der Computer, der an dieser Stelle entschieden hat, dass das Wohngeld rauskam, sondern das war eben sozusagen der verlängerte Arm der Menschen.

00:41:16: Das würde ich nicht ein automatisierter Entscheidungen nennen.

00:41:19: Und deshalb habe ich mich gefragt, was denn dann?

00:41:21: Ja und du hast jetzt gut gekommst mit der Notvergabe, mit etwas wo es wirklich um Spielräume und Dinge gibt, wo's nicht so klar ist.

00:41:28: ja also ist das dann das Wesen, der automatisiert?

00:41:33: Also erstmal hat der Jurist, dass er insofern leichter als der Linke ist, als wenn er endlich weiß, was eine Entscheidung ist, dann guckt er in die rechtsprachigen europäischen Gerichtshofen oder weiß das.

00:41:44: zum Beispiel das dritte Geschlecht.

00:41:46: Das gab es ja rechtlich nicht bis das Bundesverfassungsgericht, dass durch ein Wort etabliert hat und damit der Evolution aus Sprünge geholfen an der Sysma was das Richterwort kann also nämlich die Realität beeinflusst.

00:42:00: Und das Richtervort beeinflußt natürlich auch die Frage, was ist eine Entscheidung?

00:42:04: Ja da sind Juristinnen und Juristen dran gewöhnt und dann ist das so.

00:42:13: Das eine, was du gesagt hast.

00:42:14: Es wird schlicht nur etwas umgesetzt.

00:42:15: Ich möchte gerne Stelle besetzen mit Juristinnen und Juristen.

00:42:19: Und die muss mindestens ein Prädikasexamen haben.

00:42:22: Bitte sonder alle aus, die nicht prädikat- und die nicht juristin sind überhaupt keine Entscheidung der Maschine d'accord?

00:42:29: Jetzt geht es um die Frage einer Wertungsentscheidung.

00:42:31: Und zwar muss es eine WertungsEntscheidung sein mit rechtlicher Relevanz.

00:42:35: Keine rechtliche Relevance hat Werbung!

00:42:38: Wenn du eine Werbung angezeigt hast vom Algorithm soll, nicht hat keine Rechterelevanz.

00:42:41: Insofern egal.

00:42:43: Jetzt nehmen wir aber welche Schulnote kriegst du?

00:42:45: Kriegst zum Kindergaffenplatz, kriegste wie auch immer.

00:42:47: das hat rechtliche Relevanz und da setzt die automatisierte Einzelentscheidung ein.

00:42:53: Und jetzt kommt die nächste Frage, die wirklich spannend war insofern nicht mehr ist als dass entschieden ist von europäischen Richtung sogenannten Schufer-Entscheidungen.

00:43:02: Da ging es um die Frage was man auf einen Schuferscore im Anführungsstrichen selbst entscheiden.

00:43:09: Und er hat der Europäische Berichtshof gesagt, eine Entscheidung die hatten Anfang und hatte Ende.

00:43:17: Wann ich die Akte anpacke?

00:43:21: Das sind alles Einzelentscheidungen.

00:43:23: Jede Einzel-Entscheidung wiederum muss wenn sie menschliche Schicksale betrifft in rechter Eintrift von Maß gibt schon einem Menschen getroffen sein.

00:43:36: Und jetzt ist es halt so, dass wenn du den Automatisierungsbeißen und den Anker effekte sie bei einem KI Phänomene nimmst.

00:43:45: Du hast beim Schleifenpony keinerlei Möglichkeit mehr selbst zu denken.

00:43:52: Hier hat die Daten fürs Grundverordnung vorhin der Lösung bereit.

00:43:59: Sie sagt man darf eine automatisierende Entscheidung unterworfen werden.

00:44:05: Da gibt es drei Fälle, in denen das für mich okay ist.

00:44:09: Fall eins, ein Fall der ist einwähigungsfähig und ein Mensch gibt eine Einwilligung.

00:44:15: Kann der Schüler aber nicht?

00:44:16: Ich möchte lieber die Note vom Roboter-Lehrer haben, dass kein Anwendungsfall oder schliessend Vertracht rüber wäre ein anderer Fall.

00:44:23: Keine Verträge drüber schließen im beschäftigten Kontext im Rahmen der Freiwilligkeit auch schwierig.

00:44:28: Das heißt, es gibt noch ne Dritte Variante.

00:44:32: Man kann aufgrund von einer Rechtsvorschrift der Union, das ist Mitgliedstaates sagen.

00:44:38: In diesen Fällen ist eine Roboterentscheidung zulässig und wenn du das machst dann musst du als Gesetzgeber festlegen hier ist der Übergabepunkt Menschmaschine.

00:44:49: Das darf man delegieren nicht.

00:44:51: Und jetzt haben wir die Besonderheit dass wir ganz viele Möglichkeiten haben Roboter entscheiden zu lassen.

00:44:57: Wir brauchen nur ein Gesetz wo drin steht dass der Roboter diesen Job übernehmen darf.

00:45:03: Und das ist ein Punkt, der völlig unterm Radar läuft, obwohl es seit Jahrzehnten im Gesetz steht.

00:45:10: Das könntest du dann beim Wohngeld oder so einfach machen und sagen, das beschließen wir und dann machst einen Gesetz?

00:45:16: Ja,

00:45:17: ja, das kannst Du machen!

00:45:18: Du müsstest nur die Parameter festlegen

00:45:20: nach denen... Ja, genau.

00:45:23: Das ist ja auch das was mir als Mensch interessiert.

00:45:24: Du musst ja also du musst ja das was die entscheidenden Sachen muss der Mensch vorgeben.

00:45:29: D.h.,

00:45:29: du brauchst eine Norm, die sehr ausdifferenziert herangeht und diese Übergabe lien die zwischen Menschen und Maschinen eben ausformuliert.

00:45:40: Und dass gibt es mal wirklich intensiv geforscht.

00:45:44: Ist wirklich nur nach meiner Überzeugung... Kindergeldbereich, wenn es um die Frage geht ob erwachsene Kinder Kindergeld kriegen dürfen und darf eine KI das rauskriegen.

00:45:54: Da ist das eingehalten.

00:45:56: aber ich habe ansonsten intensiv geguckt.

00:45:59: also wenn die Verwaltung KI nutzen soll fehlt es an diesen Gesetzen in der Schule, in der Verwaltung, in Hochschulen auch im Beschäftigungskontext.

00:46:08: Also ganz viel Hausfragen

00:46:10: kommen ja dann eben auch die Fragen Wann ist die Maschine denn fertig und gut sozusagen?

00:46:14: Wie gut sind wir in der analogen Abteilung halt, wie viele Fehler rutschen uns dadurch.

00:46:18: Und dann könnte man ja sagen, der Maschine dürfen nicht mehr Fehler durchrutschen eher weniger oder irgendwie sowas müsste man sich brauchen wird tausend Ja kann ich ja meine alte Abteilungen mal Tausend Testfälle reinschicken und Mal gucken ob immer richtig entschieden wird.

00:46:30: also Man könnte sich das überlegen.

00:46:32: aber das andere was ich noch Noch dazu bringen wollte, was du gesagt hast, maßgeblich oder so ein Wort.

00:46:37: Hast du gesagt menschliche Entscheidungen?

00:46:38: Das kennen wir ja auch aus den von dem autonomen Waffen, wo das eben meaningful human control heißt.

00:46:44: also wenn die Drohne jetzt irgendwo die Sprechstoff an Bord hat Ja wenn die irgendwo fliegt und sagt target Du hast zwei Sekunden Zeit auf einen grünen Knopf zu drücken dass ist keine meaningful Control.

00:46:54: da hat der Mensch keine Letztentscheidung getroffen sondern das war sozusagen wie du sagst automation bias oder das war Ebenen Fall von proformer Proforma-Ding.

00:47:04: Und das finde ich eigentlich super spannend, darüber müsste man doch jetzt ganz viel arbeiten in der interdisziplinären Forschung mit Juristinnen und Verwaltungsrecht dann mit was weiß ich Sprachleuten, mit Interfacegestaltern, mit KI-Leuten zu überlegen wie kriegen wir diese Dunenz des Übergabepunkte bedeutsame Kontrolle dass wir auch wirklich eine menschliche Entscheidung treffen auch wenn du acht Stunden am Tag KI Entscheidungen am Amt nachwischt ja?

00:47:28: Dass auch die viertausendste Entscheidung an dem tag noch maßgeblich von dir.

00:47:34: Was ist ein dickes Buch geholt?

00:47:36: Ja, ja.

00:47:36: Habe ich gerade zusammen geredet, dass habe ich das doch schnell geholt und zwar ist genau das was gerade passieren muss.

00:47:43: also Ich habe das große Glück gehabt Zusammen zu arbeiten mit einem wissenschaftlichen Mitarbeiter.

00:47:50: der hat promovient Und zwar über die richterliche Verantwortung künstliche Intelligenz zur Abgrenzung zwischen unzulässiger Ersetzung und zulässige Unterstützung des menschlichen Richters.

00:48:03: Der Mann heißt Moritz Köhler und ist, wie soll ich sagen der Joshua Kimmich unter den Nachwuchsjuristen.

00:48:11: Also ein ganz vorzüglicher Jurist und er hat sich während der Zeit wo er mir gearbeitet hat dieses Thema mal angeguckt.

00:48:22: Das

00:48:23: kann ich nur wirklich empfehlen, sich mal anzugucken.

00:48:26: Weil das was du gerade aufrufst, wo ist der Übergabepunkt?

00:48:30: Wie ist die Mensch-Maschine Interaktion?

00:48:31: hat er sich angeschaut mit Blick auf die Frage für den menschlichen Richter.

00:48:36: der Richter, der entscheidet im Namen des Volkes, erkennt er für Recht.

00:48:41: Das bedeutet da kannst du ein Roboter nicht machen lassen also da hast eine verfassungsrechtliche Sperre.

00:48:49: jetzt haben wir aber vergleichbare Konstellationen in anderen staatlichen Bereichen und das guckt, dass sich an- und dekliniert eben auch den Zweiundzwanzig durch.

00:48:58: Also dieses Buch kann ich... Das kommt jetzt enorm aus voller Graus.

00:49:02: nur jedem empfehlen, der sich damit intensiv befassen will.

00:49:05: aber du hast völlig recht diese Frage muss jetzt ganz massiv den Staat befassen.

00:49:15: wie kriegte ich dem Korridor der menschlichen Entscheidung ausgeformt und abgegrenzt, von dem was wir nehmen darf.

00:49:23: Und dann habe ich auch überhaupt kein Problem mehr mit der KI-Verordnung, die er ihrerseits aussagt.

00:49:29: so unwesentliche Hilfstätigkeiten, da darf ich die KI machen lassen?

00:49:33: Das läuft für meine Begriffe in der KI verordnet ist das Artikel sechs Absatz drei, läuft synchron mit dem Zweiundzwanzig DSG vor Ort, der auch ausgearbeitet.

00:49:45: Da ist wirklich viel, was man sich angucken muss.

00:49:48: Wenn man es ernsthaft betreiben will als Staat und da würde ich von ausgehen.

00:49:52: Und das machen wir aber unter einer Rahmenbedingung wo fünfhundertsiebzig tausend Stellen im öffentlichen Dienst derzeit unbesetzt sind bis zwei Tausend Dreißig dass auf eine Million anwachsen wird.

00:50:00: Das heißt das Wissen über die Kunden, über die Prozesse.

00:50:03: Das wichtige Wissen was in diese digitalen Prozese notwendigerweise einfließen muss das geht in den nächsten fünf Jahren weitgehend in Rente.

00:50:11: Ja das heißt dann haben wir eine jüngere Generation der der Laden über Kopf zusammen bricht und die dann im Zweifelsfall alles was wir jetzt nicht tun dann immer noch tun muss und ja und völlig überfordert sein dürfte mit dieser Angelegenheit.

00:50:24: das heißt dass ist wirklich eine eine hoheitliche Aufgabe die wir jetzt haben und ich glaube wir dürfen schon wieder fünf Euro ins Übergangsüberleitungsschweinchen machen, denn du hast ja vorhin schon sozusagen die verfassungsrechtliche Richter schafft.

00:50:39: Ja klar kann KI recht sprechen aber wir wollen es nicht.

00:50:42: Das ist sozusagen können.

00:50:43: kann das da so ein System?

00:50:44: natürlich Aber wir haben gute Gründe den Menschen das machen zu lassen.

00:50:47: ich möchte dich jetzt in deinen letzten Themenblock rein leiten die das primat der Menschlichkeit oder wie nennst Du's?

00:50:56: Naja, also das ist gar nicht mein Primat.

00:50:57: Das steht ja in der KI-Verordnung drin.

00:50:59: Das heißt Menschmaschine Mensch.

00:51:01: Bist du ein Fußballfan?

00:51:03: Mussten gar nicht sein!

00:51:05: Aber den Kölner Keller kennst Du, oder?

00:51:07: Auch nicht.

00:51:08: Der Kölnner Keller ist der Ort wo der Videoassistent...

00:51:13: Ach, das habe ich in deinem Buch gewesen.

00:51:14: Guck mal, jetzt kann ich wieder Werbung machen.

00:51:15: Ja doch, das hab' ich schon gemacht.

00:51:17: Also zwei ist das ja wie folgt beim Fußball.

00:51:19: Du hast den Schiedsrichter, der ist der Spieleiter auf dem Platz und er muss in einer Situation die für ihn nicht händelbar ist etwas tun was ihm zugewiesen ist durch die Spiegel nämlich pfeifen.

00:51:30: da stehen fünf Leute vor ihm, er muss gucken ob die Hand im Neigungswinkel vom Körper mit dem Ball.

00:51:34: ist das ein Elfer?

00:51:35: Und egal wie ihr es macht, er macht's falsch.

00:51:38: Dann pfeift aber trotzdem weil er irgendwie fühlt So, und in der Situation hat der Fußball sich ausgedacht.

00:51:45: Na ja, da muss es doch eine Möglichkeit geben, dass er rausgerufen wird oder selber noch mal gucken kann, dann guckt er sich ein Videobild an.

00:51:51: das ist keine KI aber die das System ist es.

00:51:54: Und dann guckte sie das Videobilt an, dann lässt er sich im Prinzip einen Impuls geben, das seine Entscheidung verbessern.

00:51:59: Dann geht er zurück auf den Platz und pfeift wieder so.

00:52:02: Und das ist wenn man so will ne kluge Idee auch für den Umgang mit KI.

00:52:08: Mensch Maschine Mensch.

00:52:09: ich muss mich selber ankern.

00:52:12: Dann frage ich die KI, habe ich was falsch gemacht?

00:52:15: Hast du noch eine andere Idee?

00:52:17: Gib mir mal einen Impuls und den nehme ich mit.

00:52:20: Und dann kann ich neu entscheiden und das macht die Entscheidung besser aber

00:52:24: aufwändiger.".

00:52:25: Das hieße zum Beispiel in unserer Eigenforschung im medizinischen Bereich.

00:52:28: Eine Radiologin bekommt ein... Muttermal auf den Schirm muss selber notieren, ist das Krebs oder nicht Krebs?

00:52:37: Mit welcher Wahrscheinlichkeit glaube ich, dass dokumentiert verbrieft diese eigene Ansicht.

00:52:43: Dann kriegt sie eine KI-Einschätzung.

00:52:45: Ist das Hautkrebs?

00:52:46: und dann kann man nochmal drüber gehen und sagen okay oder nicht?

00:52:49: okay?

00:52:51: Ja aber jetzt wird es ein ganz wichtiger Punkt, der jetzt kommt nach den Kategorien Menschmaschine, Menschlogik des Zweiundzwanzig die pur ist.

00:53:04: Ja!

00:53:05: Die KI-Verordnung ist was Besonderes.

00:53:07: Die KI Verordnung sagt ich darf der KI Sachen übertragen und habe für den Menschen da nur noch eine Stopptaste.

00:53:16: das erkläre ich dir am besten am Beispiel der Grenzkontrolle.

00:53:19: wenn du ins europäische Ausland reißt dann kommt das vor dass du mit deinem Ausweis an einem Schleuse vorbei gehst, den legst du auf dem Scanner.

00:53:27: Dann wird dein Gesicht biometisch erfasst und dann gehst Du weiter, dann gehste durch eine Tür oder dann wird dein Gesicht erfasst Und dann geht das auf!

00:53:34: Das geht ruckzuck!

00:53:36: Ich glaube das passiert sogar in Deutschland auch in Europa schon.

00:53:38: So.

00:53:39: dass ist wenn man so will.

00:53:41: und die drei Zöllner rennen Die sitzen rechts im Räumchen was es früher auch schon gab wo sie Auswahlkontrolle spielen da.

00:53:48: ich will Dich sagen wir spielen Skat aber auf jeden Fall die sind sehr entspannt.

00:53:53: Wo da mal für drei Minuten keiner mehr durchkommt, dann denken die Hoppela.

00:53:57: Da gehst du mal kontrollieren.

00:53:59: Das heißt, die Menschen auf sich bedeutet, Du hast als Mensch nur noch die Pflicht wenn du ein KI System hast was es gut kann einen Störgefühl zu aktivieren.

00:54:09: und überleg mal stell dir mal vor, du hättest eine KI und du die Zöllner müssten ständig dann auch mit kontrollieren oder einen Arzt in der Rheine hat einen MRT oder ein Hautkrebsding was das kann Da kannst du am Ende des Tages gar nicht mehr dazwischengehen.

00:54:25: Das ist ja Wahnsinn, das heißt dafür brauchst du genau diese gehärteten Systeme die Artikel sechs bis neun vierzehnte KI-Verordnung einhalten.

00:54:35: unter der Voraussetzung dass das ist sagst Du dann okay Dann geben wir da im Prinzip nur noch den menschliche Stoppdaste bei Störgefühl frei über den Zollern.

00:54:48: Unabhängig davon muss ich nach der DSGVO parallel natürlich die Menschmaschine-Menschentscheidung treffen und muss da noch mich selbst verantworten.

00:54:56: Und das zu synchronisieren, ist auch nochmal ein wichtiger Punkt.

00:55:00: aber das kriegst du hin weil wenn Du das KI rechtlich gebaut hast dann ist die Maßgeblichkeit nach dem Zweiundzwanzig und die Menschen stopptaste nach der KI Verordnung wahrscheinlich gleichzuziehen Ist eine Herausforderung für Juristen.

00:55:13: hat Herr Köhler sich mit befasst?

00:55:15: Das glaube ich gerne, aber das ist vor allen Dingen auch wenn was jetzt die Fähigkeiten der Ärzte und Ärzten betrifft.

00:55:20: Also Stichwort Die Skilling hat die Gefahr dass du hinterher den Hautkrebs nicht mehr ohne KI erkennen kannst weil du das gar nicht mehr gewöhnt bist dich durch diese ganzen Schichten und Bilder- und Kontraststufen usw.

00:55:30: da in null kann man nichts durchzuklicken was heutige Radiologinnen und Radiologen eben rund um die Uhr machen.

00:55:35: Die ist ja dann ich meine klar es ist kein juristisches Problem Aber ein gesellschaftliches Problem.

00:55:39: vielleicht

00:55:40: Ja aber Du kannst sagen Angenommen Du bist jetzt einer, einer muss nicht seinen Richter aussuchen oder sein Polizisten.

00:55:49: Man muss sagen also ich möchte jetzt nicht mehr vom Menschen- oder Roboterrichter geht nicht.

00:55:54: Also es steht nicht zur Disperationsbefugnis des Menschen sondern ist Starr.

00:55:58: Jetzt bist du Herr deiner Gesundheit!

00:56:00: Du kannst natürlich auch gar nichts zum Arzt gehen.

00:56:03: Jetzt fragt mich der Arzt was möchten Sie, Herr Burschert?

00:56:07: Möchten sie das dem Mensch entscheidet mit einer Federquote von, keine Ahnung, zwei Prozent oder die KI mit einer von Null Komma zwei Prozent.

00:56:15: Oder sagen Sie ich entscheide mich für die KI, der wirst du aufgeklärt?

00:56:19: Dann kriegst Du also das ist deine Diskussionsprüfung.

00:56:22: an der Stelle wirkt es interessant weil dann kannst du sagen da ist das Skiling gar nicht mehr wichtig Weil die KI vor Ort und geht davon aus dass der Mensch es nicht kann.

00:56:32: Es gibt Situationen wo er einfach unterlegen sein muss und soll Und dafür gibt es eben den Unterschied zwischen der DSGVO mit der materiellen menschlichen Entscheidung und der KI-Verordnung, mit dieser formalen Entscheidung der Menschen Stopptaste.

00:56:46: Das ist super dass du da noch hingehst weil das ist die Idee!

00:56:51: Dafür muss das so gut sein diese Kalle im Medizin.

00:56:54: Jetzt nochmal fünf Euro in die Überleitungskasse.

00:56:56: jetzt kommen wir nämlich auch noch zu meinem Thema was ich auch noch reigechippt hatte in unsere Vorbereitung.

00:57:01: Wir können es aber nochmal mit dem mit dem menschlichem Primat gleich bei dir noch mal ein bisschen weiterführen.

00:57:06: Auch die Frage sozusagen einer KI Grundversorgung eines Rechtes auf KI.

00:57:12: Warum ist das eine Igel-Leistung bei der Hautkrebsvorsorge?

00:57:15: Warum musste ich hundfünfzig Euro bei meiner Dermatologin dafür zahlen, dass diese scheiß KI Kamera... Einmal über meinen Körper zieht.

00:57:22: Ja, weil es geht natürlich, weil Privatkassen das bezahlen und so weiter und sofort Und für normale Menschen ist es eine Igelleistung.

00:57:28: da könnte man ja auch sagen wenn wir so KI regulieren.

00:57:31: Wir können auch sagen die Leute haben auch ein Recht darauf diese bessere medizinische Behandlung zu bekommen und wir machen Das eben zu einer zu einer Kassenleistungsstelle dass wir sagen wir haben einen Zwei-Klassen-System Die guten Gutverdiener können sich im KI Diagnose leisten und die anderen müssen halt dann muss der Dermatologe drauf gucken.

00:57:47: Ein

00:57:49: anderes Thema, aber völlig einverstanden.

00:57:51: Ja klar war nur eine Seitenlinie.

00:57:52: Aber bleiben wir noch mal bei dir?

00:57:57: Sozusagen deine.

00:57:58: was war es dein FHZ-Artikel richtig?

00:58:04: Das ist mein Verfassungspolitische Kernforderung aus dem Buch.

00:58:08: Willst du darauf zu sprechen kommen?

00:58:10: Darauf würde ich sehr gerne zu sprechen komme.

00:58:11: Okay ja natürlich trifft sich wunderbar.

00:58:15: also das war die Idee Ich habe, wir hatten Menschen die ich sehr schätze.

00:58:23: Kruger Jurist und Politiker Günter Kriegs.

00:58:27: Als ich ihm erzählt hatte was ich mache vor einiger Zeit an dem Buch erzählen.

00:58:33: Pass mal auf!

00:58:33: Ich habe in der Schule einen Beitrag gelesen den hat Hans Jonas.

00:58:39: Die kommen beide aus Mönchengladbach, der Krebs und der Jonas.

00:58:42: Und er hat einen Friedenspreis des deutschen Buchandels gekriegt.

00:58:47: Und dann hat er einen Vortrag gehalten und der Tenor war, der Mensch muss nicht mehr Angst haben von der Natur.

00:58:56: Sondern die Natur muss Angst haben vor den Menschen.

00:59:00: Der Deich, den wir bauen, der schützt nicht mit dem Mensch.

00:59:03: Er schützte die Natur!

00:59:05: Und das hat er gesagt, da habe ich damals in der Schule gelesen... Das ist ja Wahnsinn, total schön!

00:59:11: Also hab' ich mir das irgendwie angeguckt usw.. Dann hatte Jonas das aber bezogen auf die Hybris mit zu viel Forschung, soviel Gehntforschung.

00:59:21: Dann ging es um Nachhaltigkeit und Umweltschutz.

00:59:23: Und dann gab's in der Staatsstil Umwelthschutz, wo man eben einfach für die ist das Grundrecht der Zukunft wenn du so willst.

00:59:32: also wir müssen auf uns achten und da müssen auch die Tiere und die umweltschützen.

00:59:36: Und dann habe ich mir gedacht, na ja also wenn das mit der KI so weitergeht und es verschwimmt zwischen Mensch und Maschine.

00:59:43: Dann muss sich doch in der Verfassung verankern dass der Mensch die Maschine oder beziehungsweise die Maschinen den Menschen unterstützen aber nicht ersetzen darf.

00:59:53: Das ist so wenn er will die zeitgemäße zusätzliche Konsequenzen.

00:59:57: Das hat der Bundesrat in die KI-Verortung für die Justiz auch schon reingeschrieben.

01:00:02: Und dann habe ich das aufgegriffen, den Buch habe ich gesagt.

01:00:04: Das finde ich gut.

01:00:05: Artikel zwanzig A dieses Grundrecht zwanziger Jahre nachdem es auf die Welt gekommen ist jetzt fortzuschreiben.

01:00:13: Ich weiß nicht, ob das in irgendeiner Form irgendwo landet.

01:00:16: Aber zumindest mal war es ja in der FHZ auf Seite eins schonmal gebranded als das Wildes einer und dann ist ja ordentlich Gedränge auf der FFZ-Seite Eins.

01:00:26: wenn da irgendwie eine Message losgehen wird so kannst du sie auch nicht beeinflusst.

01:00:30: also insofern habe ich mich total gefreut dazu sein.

01:00:33: Das spricht natürlich ein bisschen für die Kraft des Gedanken.

01:00:36: Also ich finde das total klasse dass gesellschaftlich los treten würde diesen Gedanken.

01:00:44: Also ich weiß nicht, wie du es siehst ob das für verzichtbar ist?

01:00:49: Sie sind natürlich nicht so ganz meines Fähren in denen ich mich auskenne aber als Lingoist muss sich jetzt daran denken, dass in dem deutschen Grundgesetz nicht mal die deutsche Sprache irgendwie erwähnt oder gar denn als Schützenswert genannt wird.

01:01:00: Aber auf jeden Fall, dass Mensch sei, ne, ich bin völlig bei dir und ich finde es eine sehr gute Idee.

01:01:04: dann hätte man was worauf man eben auch zeigen könnte derer Dinge, wo wir vorhin gesprochen haben, wo man viele Dinge bauen muss.

01:01:11: Dann hätte man auch was als Leitsatz oben drüber, worauf es hinauslaufen soll.

01:01:18: Was ich komplementär dagegen setzen wollte, wäre noch mal die Idee der Grundversorgung mit diesem Hilfsmittel.

01:01:27: Wenn wir die Befürchtung sehen jetzt, dass die Schere zwischen denen, die sich gute KI leisten können und denen, der sich keine gute KI leisten kann auseinandergeht.

01:01:34: Wenn wir über digitale Souveränität sprechen und sehen das kommt alles aus den USA oder China?

01:01:39: Du hast die Wahl also zwischen Pech- oder Schwefel an der Stelle wo du deine Meinungen und deine politische Bildung usw.

01:01:45: Ob du die von Grog oder was auch immer vor dem Wahlkampf dir nimmst.

01:01:49: und auf der anderen Seite Haben wir einen Telekommunikation und Internetrecht, glaube ich in Deutschland?

01:01:55: Also jeder muss irgendwie in der Lage sein, ein Telefon zu haben und Internetanschluss zu bekommen.

01:02:00: Wir haben Büchereien aufgebaut damit Leute Bücher bekommen!

01:02:03: Wir haben Lehrmittelfreiheit damit Schülerinnen und Schülerbücher bekommen... ...wir haben in öffentliche rechtlichen Rundfunk von den Alliierten geschenkt bekommen, damit jeder also politische Meinungsbildung kann an Informationen rankommen die der Staatsfern Gebühren finanziert und wird auf Unabhängigkeit durch eine Kommission, auf Pluralismus sozusagen geprüft.

01:02:20: Das sehen zwar nicht alle Leute so aber wir sehen es so und finden das auch gut so und wollen es auch so.

01:02:25: wie wäre es denn wenn wir etwas Ähnliches für KI aufbauen würden?

01:02:28: Wenn du nur einen Müd der Abgaben die ich will dir nicht wegnehmen aber sagen wir mal eine KI-Abgabe machen würdest eine Kommision sozusagen die das überwacht und dann hätten wir ein Pluralismus von Modellen von Tools von Dingen die wir staatsfern aber öffentlich zugänglich.

01:02:42: jede deutsche jede deutsche kann sich zwischen X verschiedenen Modellen oder Modell, Färbungen oder so entscheiden welche er sie nutzen will und ist nicht sozusagen von deinem Geldbeutel abhängig.

01:02:53: Und du bist auch nicht fremdbestimmt, sondern weil du die Souveräen sozusagen in einem eigenen System was eben möglicherweise dem öffentlich-rechtlichen Rundfunk nachempfunden ist eine KI Grundversorgung dir baust für Deutschland letztendlich für Europa?

01:03:06: Ja also dazu zwei Sachen, das eine isst

01:03:11: Du sie aufrechnest

01:03:13: Bitte.

01:03:15: In der Datenethik-Kommission hatten wir das sogenannte Zwei-Säulen-Modelle als Idee.

01:03:21: Es ging um die Frage, soll es den Pluralismus abzubilden neben dem kuratierten Feed der sozialen Netzwerke?

01:03:31: Einen, wenn man so will gar nicht mehr öffentlich rechtlich kann... Das ist einfach neutral!

01:03:38: Ist ein blödes Wochenlös, dass das nicht ist, aber einen Feed geben, in irgendeiner Form Fliehfeid abbildet, sagen wir es mal so.

01:03:48: Also letztlich ein sehr vergleichbarer Gedanke mit der Öffentlichen.

01:03:51: Und

01:03:51: muss der Datenkapitalismus logisch genügt?

01:03:53: Ja auf jeden Fall.

01:03:55: Es gibt den privaten Rundfunk ja auch den Auftrag für die Privaten.

01:04:01: Das war meine Idee damals, die ich vorher wissenschaftlich hochgezogen habe.

01:04:04: das ist da reingekommen.

01:04:05: Ich fand und finde das total klasse.

01:04:09: also insofern was du Was wir uns, du siehst das ja bisher nicht entgegenhalten lassen müssen.

01:04:17: Wofür man nennen was mal lieber anders?

01:04:19: Und das ist glaube ich ein Konsulteo betraf nur Lösungen finden müssten wäre.

01:04:23: Wie kuratiert man das Staatsfern wie baut man das?

01:04:28: und da hatten wir damals mit Christine Schäfer in der Datenethikums- und Informatikerin.

01:04:32: Da sind wir damals nicht weiter gegangen weil das Ding zu Ende war und dann wieder so ist.

01:04:37: Wir haben noch viel darüber geredet am Anfang irgendwie nicht mehr so Thema.

01:04:43: Aber das war die Idee, dass wir sagten, das muss es geben!

01:04:47: Das ist der Vielfalt, das ist Demokratiesicherung.

01:04:50: aber wie geht es?

01:04:51: Das wäre was fürs DFI, wie geht's zum Beispiel?

01:04:56: Da hatten wir damals die Drähte nicht, aber wärst du da drin gewesen, wärst vielleicht auch weitergegangen, aber das war ein Gedanke, der mir unglaublich wichtig war damals, der jetzt bis heute ist... Aber

01:05:10: unter dem Stichwort eben digitaler Souveränität, hybride Kriegsführung und so weiter wäre das doch eigentlich mein.

01:05:16: auf höchster politischer Ebene müsste das von Interesse sein und dauernd diskutiert werden.

01:05:20: Wie kommen wir dahin?

01:05:22: Auch wenn wir noch nicht genau den Weg kennen Viele Disziplinen, das müssen natürlich Leute aus Medienprofis und Computer-Profis und Juristen usw.

01:05:31: ganz, ganz viele Leute sich da drauf gucken und sich gute Gedanken machen und die hin und her schieben.

01:05:35: aber ich vermisse diesen Diskurs darüber dass was ich auch mal irgendwann mal die demokratische Vision von KI genannt habe denn das Internet fing ja so an aus der kalifornischen Hypikultur es sollte dezentral Herrschaftsfrei sein keine zwei Geschwindigkeiten zu lassen Die Leute sollten im Global Village sitzen ihre Probleme lösen.

01:05:51: Das war ja der Grundgedanke des Internets und den konnte man bis heute in der technischen Ausprägung immer noch so durchleben lassen, auch wenn nach dem Arabischen Frühling die Hoffnung sozusagen der sozialen Medien zusammengeklappt ist und die Plattform übernommen haben.

01:06:06: Aber es gab zu KI gar nie diesen demokratischen Grundgedanken.

01:06:10: man akzeptiert das einfach.

01:06:11: die Amis und die Chinesen machen das ganz toll.

01:06:13: wir zahlen für unsere Tokens und gucken schön zu wie du gesagt hast digitalisieren dann damit aber unseren Staat und werden ganz viele Entscheidungen und ganz viele Dinge hier im Einzelfall dann sozusagen in Technologie Reingießen, die wir nicht selber gebaut haben mit der wir keine Erfahrung haben.

01:06:29: Das sind doch jetzt um alles von heute zusammen zu binden.

01:06:33: Und diese neutrale Plattform für Jugendliche ist aber auch eine Sache, von der ich lange träume.

01:06:37: Nimm doch alle Schülerinnen und Schülern von Deutschland und gib denen ne soziale Plattform die eben für miteinander gedacht ist dass die Leute die kompatibel sind aber vielleicht nicht ganz denselben Blick haben das die miteinander diskutieren und sie nicht aufgehetzt und aufgestachert werden wie in den herkömmlichen sozialen Medien.

01:06:52: also da bin ich auch voll bei dir dass das diskutiert wird, sagt da müssten wir mindestens genauso viel Geld rein machen wie in Panzer und Hubschrauber.

01:07:03: Das war also die Königslasse uns zugleich das Boden-Buttergeschäft der Demokratiesicherung?

01:07:10: Ja klar!

01:07:12: Das ist es für Europa, das ist es diesen Kontinent und natürlich was den Schweiß der Eglen extrem wert ist.

01:07:19: aber ich glaube das ist ein Ziel was fast noch weiter weg ist als das Staatsziel.

01:07:24: Mensch Und an der Stelle, also weiß ich, ob das zu viel Eintracht hier ist.

01:07:31: Aber es spürt mir so total aus der Seele auch wirklich aus der Tiefe dessen weil das ist eine große Herausforderung.

01:07:40: Das schulden wir schlicht den Nachfolgen Generationen.

01:07:45: Das darf einfach nicht dieser große Sauger uns da wegsaugt.

01:07:53: Es kostet viel Geld, das kostet

01:07:55: usw.,

01:07:55: aber es ist am Ende die Existenzfrage für auch... Aber überleg

01:07:59: doch mal!

01:07:59: Wenn wir das Gebühren finanziert machen würden, wenn jeder zehn Euro im Quartal sein würde, KI-Abgabe oder so was mit diesem Geld machen könntest.

01:08:06: und Und irgendwann, wenn mal wieder bessere Zeiten sind denke ich muss man sowas auch auf UN-Ebene oder so als Ziele hochheben.

01:08:12: Als Menschheitsziele sozusagen die digitale eben der demokratische Herrschaftsfreie und so weiter und sofort pluralistische Aufstellung an dieser Stelle wird wahrscheinlich zurzeit nicht so einfach sein.

01:08:26: aber eigentlich das macht ja an Staatsgrenzen nicht halt dieses Ziel wie du gesagt hast mit Europa schaffen.

01:08:30: was vielleicht aber vielleicht müsste man es eins höher heben habe.

01:08:33: Ich glaube wir haben uns doch ziemlich hoch gearbeitet in diesem Podcast.

01:08:38: Das müssen die Leute halt so spannend finden, wie es ist nämlich so spannend wie Netflix.

01:08:43: Kostet man auch viel Energie, wenn man beim Kochen Netflix laufen lässt?

01:08:46: Energie und Geld.

01:08:50: Also klar also ich denke da auch irgendwie müssten wir das schaffen.

01:08:55: aber das ist natürlich vielleicht was für einen anderen Podcast.

01:08:58: Aber es ist auf jeden Fall, haben wir uns wie du auch so richtig hoch gearbeitet in einem positiven Sinne und haben jetzt wirklich das wunderschöne Demokratiesicherungsziel ausgearbeitet.

01:09:14: Ohne dass wir vorher so einen Plot hatten aber denn der hätte mir natürlich genauso gemacht nämlich an absolut.

01:09:20: also genau machen wir jetzt die Aufzeichnungen?

01:09:22: Ja, genau.

01:09:23: Wir können

01:09:25: jetzt hier auf solchen starten oder eigentlich auch das wäre glaube ich angemessert stoppen denn wir sprechen natürlich seit einer Stunde ohne Punkt und Komma.

01:09:36: Wer muss schneiden?

01:09:39: Schneiden tut keiner hier glaube ich.

01:09:41: also es sei denn du würdest jetzt darauf Wert drauf legen.

01:09:45: die Frau Burkharten sitzt hier zu und guckt mit

01:09:53: Ich

01:09:53: weiß nicht, da können wir ja überlegen.

01:09:54: Die ist ja neutrale Beobachterin dessen.

01:09:56: also ich würde jetzt nichts schneiden noch nicht mehr das was Sie hier gerade besprechen im Sinne einer maximalen Transparenz.

01:10:03: Das ist alles für mich auch.

01:10:06: Also super!

01:10:07: Für Leute die so Daumen hoch für die, die uns nicht sehen bei der weniger alle.

01:10:14: Wir sind es ja nur selber in dem Podcast.

01:10:17: Ja das war wirklich

01:10:19: großer Spaß.

01:10:21: Ja, also kann ich nur zurückgeben.

01:10:24: Das war der Data Gender Podcast Nummer dreieinneunzig aufgezeichnet am achtzehn Mai zwanzig sechsenzwanzig von der digitalen Souveränität über Kompagnienz über Menschmaschine Mensch über die Demokratiesicherung aber unter dem Oberthema Digitale Souveranität in menschlicher Rohheit.

01:10:47: Ich glaube das trifft es.

01:10:49: Herzlichen Dank, lieber Adyosha für deine Zeit und deinen Geist, den du uns hier mit Guteilungsbeschränkt hast.

01:10:59: Also schön, dass du so viel denkst und das irgendwie teilst!

01:11:06: Und

01:11:06: natürlich auch dein Buchleser muss man auch nochmal bewerben.

01:11:09: Das ist ja wirklich toll.

01:11:10: Da werde ich jetzt noch zu Ende lesen.

01:11:12: Ja kann man nichts falsch machen und das ist wirklich.

01:11:14: danke für die Einladung.

01:11:16: Herzlichen Dank, dass du da warst.

01:11:17: Ja meine Damen und Herren das war der Data-Agenda Datenschutz Podcast Nummer drei neunzig digitale Souveränität in menschlicher Hoheit.

01:11:25: bis zum nächsten Data Agenda Datenschutz Podcast.

01:11:29: alles gut!

01:11:31: Das war der data agenda datenschutz podcast der Experten Talk mit Professor Doktor Rolf Schwartmann.