Die Möglichkeiten zum Einsatz von KI scheinen unbegrenzt, im besten wie im schlechtesten Sinne. Daher ist es essenziell, nicht nur zu wissen, was mit KI gemacht werden kann, sondern auch zu regeln, was mit KI gemacht werden darf. In diesem Abschnitt soll es darum gehen, welche rechtlichen Regelungen es bereits gibt und in welcher Weise diese für die Nutzung von KI in der Jugendarbeit relevant sind.  

Eine Art ‚Gesetzbuch für KI‘ gibt es dabei nicht, sondern eine Gemengelage diverser Vorschriften aus unterschiedlichen Rechtsgebieten, etwa aus Datenschutzrecht und Jugendschutzrecht, die in der Jugendarbeit immer mitgedacht werden müssen. Je nach Verwendung der KI kann bei ihrem Einsatz im kreativen Bereich aber auch das Urheberrecht relevant werden. Im Folgenden wird darauf eingegangen, welche Regelungen bereits direkt oder indirekt den Einsatz von KI im außerschulischen Bildungsbereich bestimmen. Abschließend erfolgt ein kurzer Ausblick auf noch zu erwartende Regelungen. 

Artificial Intelligence Act (AI-Act) 

Der Artificial Intelligence Act der EU (Verordnung EU 2024/1689) ist weltweit die erste Regelung zum Thema KI. Allerdings regelt er nicht, wie KI eingesetzt werden kann, sondern ob beziehungsweise wo sie eingesetzt werden kann. Der AI-Act benennt in Artikel 5 acht besonders gefährliche Anwendungsbereiche, in denen der Einsatz verboten wird. Beispielsweise wird die Bewertung oder Klassifizierung von Personen oder Personengruppen (social scoring) verboten; egal in welchem Bereich, und somit folglich auch im außerschulischen Bildungsbereich. 

Nicht verboten, aber streng reguliert, sind weitere acht Bereiche. Hierzu gehört auch der Bildungsbereich, allerdings nicht im Hinblick auf die Inhalte oder deren Vermittlungsweise, sondern auf die Zulassungsentscheidung zu Bildungseinrichtungen, die Beurteilung von Leistungen und die Bewertung von Prüfungsergebnissen. Damit fällt der Einsatz von KI als Hilfsmittel in der Medienpädagogik nicht hierunter. 

Grundsätzlich gilt, dass alles, was nicht verboten oder aber streng reguliert ist, erlaubt ist. Artikel 50 des AI Act legt aber allen Anbietern (Entwicklern) und Betreibern (Verwendern) eine Transparenzpflicht auf. Diese Vorschrift gilt auch für die Fachkräfte in der außerschulischen Bildung. Dies gilt nicht nachträglich, sondern am besten im Vorfeld, spätestens jedoch zu Beginn der Interaktion mit der KI, und zwar auf eine verständliche und leicht erkennbare Weise. Zusätzlich haben Betreiber die Pflicht sicherzustellen, dass Personen, die in ihrem Auftrag mit KI befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen. Wie dies geschieht, ist dabei jedoch nicht geregelt, da die jeweiligen Kontexte sehr unterschiedlich sind und daher nur vor Ort entschieden werden können. Daher ist eine Kompetenzvermittlung mittels eines spielerischeren Ansatzes wie ChatGameLab oder mittels eines KI-Selbstlernkurses in bestimmten Kontexten denkbar. 

Digitale-Dienste-Gesetz (DDG)  

Das deutsche Digitale-Dienste-Gesetz setzt die EU-Verordnung Digital Services Act (Verordnung EU 2022/2065) in nationales Recht um. § 28 DDG regelt den Online-Schutz Minderjähriger durch Vorgaben an die Anbieter von Plattformen. Dieser Schutz gilt für alle Bereiche, in denen Minderjährige erreicht werden, also auch in der außerschulischen Bildung. Anders als beim AI-Act, der die Frage nach dem ob regelt, regelt das DDG die Frage wie eine Online-Plattform ausgestaltet sein muss. Nicht alles, was Interaktionen zwischen Nutzern ermöglicht, ist automatisch eine Online-Plattform. Unter bestimmten Voraussetzungen kann auch ein KI-gestütztes Spiel als Online-Plattform gelten. Hierbei ist zu beachten, dass der Begriff Interaktion nicht erst eine Aktion von zwei Nutzer*innen miteinander meint, sondern es schon ausreicht, wenn ein*e Nutzer*in einen Inhalt erstellt und dieser Inhalt für andere Nutzer*innen sichtbar oder zugänglich ist. 

Die zu beachtende Aspekte sind: 

1. Altersgerechte Voreinstellungen: kein öffentliches Profil, keine öffentliche Chat-Funktion, keine personalisierte Werbung, kein Tracking, optionale Freigaben nur nach Zustimmung; 
2. Umgang mit den Eingaben der Spieler*innen: nur Notwendiges speichern, nur lokal speichern, nur anonymisiert speichern, keine Weitergabe der Daten an Dritte, Filter für sensible Inhalte implementieren, Möglichkeit schaffen zur Meldung oder Blockierung problematischer Inhalte; 
3. Werbung nur kontextbasiert zulässig: Werbung darf nur zum Inhalt des Dienstes passen, aber nicht auf die Person zugeschnitten sein, die die Werbung zu sehen bekommt 
4. es braucht Transparenz und Information für die sichere Nutzung: Impressum, Hinweis auf Einsatz von KI, Angaben zu Kontakt-, Melde- und Beschwerdemöglichkeiten. 

Das DDG unterscheidet nicht wie der AI-Act zwischen Anbieter (Entwickler) und Betreiber (Verwender). Vielmehr nutzt es nur den Begriff des Diensteanbieters in dem deutlich weiter gefassten Umfang, dass sowohl die geschäftsmäßige Nutzung als auch Bereitstellung gemeint ist. Damit kann eine Bildungseinrichtung leicht zu einem Dienstanbieter werden. Der Umfang der Pflichten variiert aber je nachdem, ob diese nur technische Intermediärin oder Plattformbetreiberin ist. Wo eine Bildungseinrichtung dann zu verorten ist, hängt vom Einzelfall ab und der Frage, wie sehr sie Einfluss auf die Online-Plattform hat. Bei einem Spieleditor wie ChatGameLab und der Möglichkeit Spiele zu erstellen, ist die Einflussnahme deutlich größer als würde beispielsweise eine große Aktion zum Verkauf gebrauchter Dinge über Ebay organisiert werden. 

Die Datenschutz-Grundverordnung (DSGVO) 

Die Datenschutz-Grundverordnung gilt immer, wenn personenbezogene Daten verarbeitet werden. Daher gilt sie auch dann, wenn in irgendeiner Form ein KI-gestütztes Format personenbezogene Daten verarbeitet. Im Fall von ChatGameLab werden aber keine personenbezogenen Daten abgefragt, so dass sich in diesem Kontext keine datenschutzrechtlichen Besonderheiten im Vergleich zur sonstigen außerschulischen Bildungsarbeit ergeben. 

Allerdings ist durch die Möglichkeit einer freien Texteingabe auch die Gefahr gegeben, dass Nutzer*innen bewusst oder versehentlich in ihren Eingaben eigene Daten oder Daten Dritter preisgeben, um beispielsweise auftauchende Charaktere für sich selbst reeller zu machen, sei es durch den Namen, die Optik oder einen typischen Spruch. Oder auch durch bei der harmlos wirkenden Spielanweisung, dass die Figur nun zum 23-jährigen Max Mustermann in die Mustermann Straße 123 geht, um zum Geburtstag zu gratulieren. Für dieses Risiko müssen die Einrichtungen die Nutzer*innen sensibilisieren. 

Sozialgesetzbuch, 8. Buch (SGB VIII) 

Diese beiden Vorschriften (DDG und DSGVO) überschneiden sich mit dem Jugendschutz konkret in § 11 SGB VIII, der natürlich auch für die außerschulische Bildung von Kindern und Jugendlichen gilt. Hieraus ergibt sich für die pädagogischen Fachkräfte das Erfordernis (1.) einer klaren pädagogischen Zielsetzung generell beim Einsatz einer Online-Plattform oder von KI allgemein oder speziell beim Einsatz einer KI-gestützten Online-Plattform, (2.) eine Aufsichtspflicht bei der Nutzung der KI und (3.) das Erfordernis klarer dokumentierter Regeln. Bei diesen Regeln kommt zu den schon genannten Aspekten aus dem Datenschutz hinzu, dass auf altersangemessene Inhalte zu achten ist. 

 Urheberschutzgesetz (UrhG) 

Das Urheberschutzgesetz basiert in seiner Regelung der Vervielfältigung von Werken noch auf den technischen Vorstellungen der vorletzten Jahrhundertwende, als das Brennen von CDs, das heute schon antiquiert ist, noch nicht denkbar war. Demnach gibt es im geltenden Urheberschutzrecht keine unmittelbare Regelung für mit Hilfe von KI erstellte Werke. Hier kann nur ausgelegt werden. Es stellt sich sowohl die Frage, was der KI als Input gegeben werden darf und wem das Urheberrecht am Output der KI gehört. Wie ein Gesetz auszulegen ist, liegt bei den Gerichten. Es gibt bereits laufende Verfahren, u. a. von GEMA gegen OpenAI, aber bislang nur Entscheidungen in der 1. Instanz. Es ist davon auszugehen, dass diese Verfahren aufgrund der grundsätzlichen Bedeutung dieser Fragen den vollen Zug durch die Instanzen gehen werden, also bis zum Bundesgerichtshof, der seinerseits sicherlich eine Vorlage zum Europäischen Gerichtshof machen wird. Demnach wird es einige Jahre dauern, bis es eine gesicherte Rechtsprechung geben wird. 

Unproblematisch beim Input sind Werke, deren Urheberschutz schon abgelaufen ist. Bei einem Spiel wie ChatGameLab muss deswegen von Anfang an der Urheberschutz mitgedacht werden, also die Frage wie verhindert werden kann, dass real existierende Werke, die eventuell unter Verstoß gegen den Urheberschutz als Trainingsmaterial eingegeben worden sind, repliziert werden. Hier liegt die Verantwortung nicht bei der Bildungseinrichtung, sondern in erster Linie bei den Anbietern der KI-Modelle. 

Komplizierter ist es beim Output. Schöpfer im Sinne des UrhG kann nur ein Mensch sein. Werke im Sinne des UrhG können nur persönliche geistige Schöpfungen sein. Die Schöpfungshöhe bezeichnet den Grad der kreativen Eigenleistung, die ein schutzwürdiges Werk von einer einfachen handwerklichen oder technischen Ausführung unterscheidet. Dabei geht es nicht um Kosten oder Aufwand der Erstellung, sondern maßgeblich sind Individualität und Originalität. Damit können die Spieler*innen in ChatGameLab regelmäßig ein Urheberrecht haben. Und demzufolge muss das Urheberecht an den Werken der Spieler*innen geregelt werden. Da die Idee von ChatGameLab darauf basiert, dass jeder jedes öffentliche Spiel kopieren und verändern kann, ist eine sinnvolle Regelung, dass die Spieler*innen allen anderen Spieler*innen weitestmögliche Nutzungsrechte an ihren veröffentlichten Spielen einräumen. Hier liegt die Verantwortung in erster Linie beim Betreiber einen wirksamen Rechtsverzicht zu implementieren. Den Spieler*innen muss zum Zeitpunkt der Entscheidung, ob sie ein Spiel privat halten oder veröffentlichen wollen, klar sein, dass sie im zweiten Fall auf ihre Urheberschutzrechte verzichten. Je nach Alter der Spieler*innen obliegt es den Einrichtungen sicherzugehen, ob die Spieler*innen die Tragweite dieser Entscheidung begreifen.  

Rechtliches Fazit und Ausblick 

Aufgrund der Gemengelage an geltenden Vorschriften aus verschiedenen, sich im Bereich der außerschulischen Bildung aber überschneidenden Rechtsgebieten und teilweise noch offener Rechtsfragen empfiehlt es sich, den Einsatz von KI-Anwendungen nicht nur pädagogisch, sondern auch organisatorisch und rechtlich zu rahmen. Im Rahmen dieser Handreichung steht dafür eine Muster-Nutzungsvereinbarung für Einrichtungen als Download zur Verfügung. Sie ist bewusst allgemein gehalten und kann an die jeweils eingesetzte Anwendung, die Zielgruppe und die organisatorischen Rahmenbedingungen angepasst werden. Sie soll insbesondere dabei unterstützen, Zuständigkeiten, Aufsicht, Datenschutz, den Umgang mit Inhalten sowie Fragen der Veröffentlichung und Meldung problematischer Inhalte zu klären. 

Ergänzend dazu wurde für das ChatGameLab eine eigene Nutzungsvereinbarung für Organisationen entwickelt. Sie basiert auf der allgemeinen Muster-Nutzungsvereinbarung, ist jedoch auf die spezifischen Funktionen und Rahmenbedingungen der Plattform ChatGameLab abgestimmt. Sie ist insbesondere dann relevant, wenn Einrichtungen im ChatGameLab Organisations- oder Workshopfunktionen nutzen möchten (vgl. Kap. 2.1.4). In diesem Fall muss die Vereinbarung von der Einrichtung unterzeichnet und ans ChatGameLab den Anbieter  (chatgamelab@jff.de) übermittelt werden, damit eine Freischaltung erfolgen kann. 

Für die Arbeit mit Minderjährigen kann es zudem sinnvoll sein, bestehende Einwilligungserklärungen für die Nutzung digitaler Medien um einen kurzen Hinweis auf die Nutzung von KI zu ergänzen. Ein möglicher Formulierungsvorschlag lautet: „Im Rahmen des Angebots wird eine KI-gestützte Anwendung genutzt. Die Teilnehmenden können diese ohne Angabe persönlicher Daten nutzen. Eingegebene Inhalte werden ausschließlich zur technischen Bereitstellung der Anwendung verarbeitet.“ Dass eine solche Einwilligung widerruflich ist, sollte sich aus den jeweils verwendeten Formularen ergeben. 

Der Bundesbeauftragte für den Datenschutz und die Informationsfreiheit (BfDI) hat ein Konsultationsverfahren zum datenschutzkonformen Umgang mit personenbezogenen Daten in KI-Modellen durchgeführt.³ In diesem haben verschiedene Beteiligte, darunter Fachleute, Institutionen und Verbände, ihre technischen, praktischen und rechtlichen Einschätzungen eingebracht. Der abschließende Bericht zeigt ein diverses Meinungsbild auf. Er ist nicht rechtlich bindend, soll aber in die weitere Beratung zum datenschutzkonformen Umgang mit KI-Modellen einfließen. 

Die EU arbeitet derzeit am Digital Fairness Act (DFA), zu dessen Schwerpunkten beispielsweise ein Verbot von manipulativen Benutzeroberflächen oder süchtig machenden Design gehören werden. Der Schutz Minderjähriger soll dabei besonders im Fokus stehen. Eine Vorlage der Europäischen Kommission wird für das 4. Quartal 2026 erwartet. 

Dies und die beim Urheberschutzgesetz genannten Gerichtsverfahren zeigen, dass der Bereich des KI-Rechts nicht völlig ungeregelt ist, aber dass er noch sehr im Fluss ist und auch noch auf Jahre bleiben wird.