KI auf jugendaffinen Plattformen: Anbieter schaffen neue Einfallstore für Risiken
Der aktuelle Jahresbericht von jugendschutz.net warnt, dass KI-Anwendungen auf jugendaffinen Plattformen neue Einfallstore für Risiken schaffen und das Phänomen sexualisierter Gewalt, Hass und extremistischer Inhalte verschärfen. Im Berichtszeitraum dokumentierte jugendschutz.net über 15.000 Fälle von Missbrauchsdarstellungen sowie volksverhetzende Texte und extremistische Kennzeichen auf Plattformen wie Spotify, Discord und TikTok. Die Anbieter setzen dem Nachweis zufolge zu wenig Schutzmaßnahmen entgegen, während KI-gestützte Funktionen, Deepfakes und manipulative Algorithmen Jugendliche stärker gefährden; es braucht effektive Maßnahmen schon bei der Einführung neuer Funktionen und klare Verantwortlichkeiten der Plattformen.
Sexualisierte Gewalt und extremistische Hassinhalte bleiben zentrale Probleme im Netz: Im zweiten Jahr in Folge hat jugendschutz.net mehr als 15.000 Fälle von Missbrauchsdarstellungen von Kindern bearbeitet. Bei Spotify und Discord stellte die Stelle zahlreiche volksverhetzende Texte und strafbare extremistische Kennzeichen fest; auf TikTok und Co. dokumentierte jugendschutz.net drastische Hass- und Gewaltfantasien gegenüber Frauen und Mädchen.
Verschärft werden viele Risiken durch KI-Anwendungen, die frei verfügbar und kinderleicht auch für strafbare Handlungen einsetzbar sind. Die Anbieter der Dienste unternehmen dagegen viel zu wenig für den Schutz von Kindern und Jugendlichen. Dies sind zentrale Befunde des aktuellen Jahresberichts von jugendschutz.net.
Stefan Glaser, Leiter von jugendschutz.net: „Die Gefahr, in beliebten Diensten mit Hass und sexualisierter Gewalt konfrontiert, dort gemobbt, belästigt oder manipuliert zu werden, besteht leider weiter. Die Anbieter setzen dem nur wenig entgegen. Im Gegenteil: Mit neuen Funktionen und Anwendungen schaffen Unternehmen weitere Einfallstore. Insbesondere KI fügt dem Problem eine neue Dimension hinzu: Das Künstliche verschmilzt mit dem Echten und verzerrt die Wahrnehmung von Realität. KI-generierte Influencer:innen präsentieren übernatürlich schöne Körper, die Essstörungen begünstigen. Manipulierte Bilder dienen als Mittel zur Verbreitung extremistischer Narrative oder zur Herabwürdigung. Chatbots entwickeln ein Eigenleben und führen Kinder und Jugendliche in sexualisierte Interaktionen. Hinzu kommt das Problem manipulativer Angebotsdesigns: Algorithmen führen Nutzende durch immer gleiche Inhaltsvorschläge immer tiefer in Gefahrenbereiche hinein. Ein Problem sind die Geschäftsmodelle der Dienste. Es braucht nicht nur Lippenbekenntnisse der Betreiber, für den Schutz von Kindern und Jugendlichen bei der Nutzung zu sorgen. Benötigt werden effektive Maßnahmen, die sich schon bei der Einführung neuer Funktionen und Anwendungen risikomindernd auswirken.“
Karin Prien, Bundesjugendministerin: „Der Bericht von jugendschutz.net macht deutlich, dass wir noch viel zu tun haben. Die erneut alarmierenden Zahlen zeigen, wie weit wir noch davon entfernt sind, Kindern und Jugendlichen eine sichere und unbeschwerte Teilhabe an der digitalen Welt zu ermöglichen. Und genau das ist es, was uns als Bundesregierung, was mir als Bundesjugendministerin ein großes Anliegen ist: Der Schutz der jungen Generation in der digitalen Welt – eine Verantwortung, die wir alle teilen. Besonders besorgniserregend ist, dass frei verfügbare KI-Anwendungen viele Risiken massiv verschärfen: Mit wenigen Klicks lassen sich heute täuschend echte Deepfakes, sexualisierte Gewaltbilder oder manipulative Inhalte erstellen und verbreiten. Gleichzeitig stellt gezielte Desinformation eine wachsende Gefahr für junge Menschen und unsere gesamte Gesellschaft dar. Viele Anbieter tun noch immer zu wenig, um Kinder und Jugendliche wirksam zu schützen. Deshalb gilt mehr denn je: Wir dürfen Kinder und Jugendliche in der digitalen Welt nicht alleine lassen. Gerade weil digitale Angebote und KI für viele junge Menschen immer häufiger zum alltäglichen Begleiter, zum Gesprächspartner oder sogar zur emotionalen Stütze werden, müssen Sicherheit, Schutz und klare Regeln endlich mit der technologischen Entwicklung Schritt halten.“
Sabine Bätzing-Lichtenthäler, Jugendministerin des Landes Rheinland-Pfalz: „Der Bericht von Jugendschutz.net zeigt, dass sexualisierte Gewalt gegen Kinder und Jugendliche eine wachsende Bedrohung darstellt, die durch Technologien wie KI-gestützte Chatbots oder Deepfakes verschärft wird. Der Schutz Minderjähriger vor schädlichen Medieninhalten und Interaktionsrisiken im digitalen Raum ist eine gemeinschaftliche Aufgabe von Staat und Gesellschaft, für die es klare gesetzliche Regeln und deren konsequente Durchsetzung bedarf. Ein altersabgestuftes Nutzungskonzept für soziale Medien, verpflichtende Alterskontrollen und eine klarere Verantwortlichkeit und Haftung der Plattformen sind wichtige Bausteine für einen konsequenten Jugendschutz. Mit der Einrichtung einer Landesbeauftragten gegen sexualisierte Gewalt an Kindern und Jugendlichen (LBSKM) übernimmt Rheinland-Pfalz dabei eine Vorreiterrolle. Wie jugendschutz.net ebenfalls aufzeigt, ist aktiver und konsequenter Jugendschutz auch Teil einer wirksamen Extremismusprävention. Denn Radikalisierungsversuche finden im Netz bewusst statt, teils gar auf Spiele- und Musikstreamingplattformen. Neben der wichtigen Arbeit der lokalen und regionalen Angebote der Demokratieförderung und Extremismusbekämpfung ist die Förderung der Medienkompetenz, eine der Schlüsselkompetenzen des 21. Jahrhunderts, bei Kindern und Jugendlichen ein Weg zu erhöhter Widerstandsfähigkeit. In Rheinland-Pfalz haben wir im Rahmen der Medienkompetenzstrategie mit der Bündelung und Vernetzung sowie einer erhöhten Sichtbarkeit der Angebote und einem niedrigschwelligen Zugang dazu gute Erfahrungen gemacht.“
Eva-Maria Sommer, Vorsitzende der Kommission für Jugendmedienschutz und Direktorin der Medienanstalt Hamburg-Schleswig-Holstein: „Regulatorisch spielt es keine Rolle, ob Inhalte von Menschen oder mit Hilfe von KI erzeugt wurden. Entscheidend ist allein, ob ein Angebot für junge Nutzerinnen und Nutzer geeignet ist. Die Fallzahlen von jugendschutz.net und KJM zeigen, wie groß das Risiko ist, online auf unzulässige oder entwicklungsbeeinträchtigende Inhalte zu stoßen. Das Problematische ist: Statt Kindern und Jugendlichen zu schaden, könnten technische Innovationen längst viel stärker für ein sicheres digitales Umfeld eingesetzt werden. Indem Angebote moderiert, unzulässige Inhalte detektiert und Jugendlichen über wirksame Alterserkennung eine ihren Bedürfnissen entsprechende mediale Umgebung angeboten wird. Ansonsten droht sich der Ausverkauf von Kinderrechten zugunsten des maximalen Profits im Zeitalter von KI weiter zu beschleunigen.“
Der aktuelle Jahresbericht von jugendschutz.net steht zum Download bereit unter: https://bericht.jugendschutz.net/jahresbericht-2025
Über jugendschutz.net
jugendschutz.net fungiert als das gemeinsame Kompetenzzentrum von Bund, Ländern und Landesmedienanstalten für den Schutz von Kindern und Jugendlichen im Internet. Die Stelle recherchiert Gefahren und Risiken in jugendaffinen Diensten. Sie wirkt darauf hin, dass Verstöße gegen Jugendschutzbestimmungen beseitigt und Angebote so gestaltet werden, dass Kinder und Jugendliche sie unbeschwert nutzen können.
Die Jugendministerien der Länder haben jugendschutz.net 1997 gegründet. Die Aufgaben wurden 2003 im Jugendmedienschutz-Staatsvertrag (JMStV) festgelegt. Die Stelle ist seither an die Kommission für Jugendmedienschutz (KJM) angebunden. 2021 hat der Bund jugendschutz.net als gemeinsamem Kompetenzzentrum im Jugendschutzgesetz (JuSchG) ebenfalls eine gesetzliche Aufgabe zugewiesen.
jugendschutz.net wird finanziert von den Obersten Landesjugendbehörden, den Landesmedienanstalten und gefördert vom Bundesministerium für Bildung, Familie, Senioren, Frauen und Jugend sowie der Europäischen Union. jugendschutz.net nimmt über seine Online-Beschwerdestelle Hinweise auf Verstöße gegen den Jugendmedienschutz entgegen. Verstöße im Netz können gemeldet werden unter: https://www.jugendschutz.net/verstoss-melden
