Die von Bund und Ländern finanzierte Plattform Jugendschutz.net hat im vergangenen Jahr 15.099 Verstöße gegen Jugendschutzbestimmungen im Netz registriert. In den meisten Fällen ging es um Missbrauchsdarstellungen von Kindern (12.334 Fälle) und Jugendpornografie (1.091), wie aus dem Jahresbericht der Stelle hervorgeht, der in Berlin vorgelegt wurde. Andere Bereiche wie politischer Extremismus, Cybermobbing, Pornografie oder Gewalt machten einen vergleichsweise geringen Anteil der entdeckten Verstöße aus.
In 96 Prozent der Fälle (14.520) konnte den Angaben zufolge bei den Anbietern die Entfernung der Verstöße erreicht werden. In fast 6.500 Fällen seien unmittelbar die Strafverfolgungsbehörden eingeschaltet worden.
„Die erneut alarmierenden Zahlen zeigen, wie weit wir noch davon entfernt sind, Kindern und Jugendlichen eine sichere und unbeschwerte Teilhabe an der digitalen Welt zu ermöglichen“, sagte die Bundesministerin für Bildung und Jugend, Karin Prien (CDU). Viele Anbieter täten noch immer zu wenig für Kinder- und Jugendschutz. Da digitale Angebote und KI-Programme für junge Menschen immer bedeutsamer würden, müssten „Sicherheit, Schutz und klare Regeln endlich mit der technologischen Entwicklung Schritt halten“, so Prien.
Gesamtzahl geht zurück – Aussagekraft aber gering
Im Vergleich zum Vorjahr (17.630 Fälle) ging die Gesamtzahl zwar zurück. Es wird aber darauf hingewiesen, dass die Zahl unter anderem von der Meldebereitschaft abhängt. So gibt es auf Jugendschutz.net ein Online-Formular, über das Nutzer Missbrauchsdarstellungen oder andere Verstöße auf Webseiten oder auf Social Media melden können. „Auf Basis der jährlichen Zahlen lassen sich daher nur bedingt Aussagen zur Verschärfung oder Verbesserung von Gefahrenlagen treffen“, heißt es.
Das Kompetenzzentrum von Bund, Ländern und Landesmedienanstalten durchsucht Internet und Social-Media-Plattformen nach Gefahren für junge Nutzer. Dabei helfen Hinweise über sein Beschwerdeportal und auch von Partnerorganisationen aus dem Ausland. In den Blick genommen werden auch Online-Angebote mit Kostenfallen, ungeeigneter Werbung oder möglichen Verletzungen von Persönlichkeitsrechten von Minderjährigen.
Kritik: Anbieter schaffen keine wirksamen Schutzvorkehrungen
Die Stelle schaut sich zudem an, welche Schutzvorkehrungen Anbieter von Online-Spielen oder Dienste wie Instagram, YouTube und Tiktok treffen. Hier geht es etwa um Einstellungen, mit denen eine ungefragte Kontaktaufnahme durch Fremde verhindert wird oder um die Anbieter-eigenen Meldesysteme.
Der Leiter von Jugendschutz.net, Stefan Glaser, kritisierte: „Statt wirksame Schutzvorkehrungen zu treffen, schaffen die Anbieter immer neue Einfallstore und bauen ihre manipulativen Geschäftsmodelle weiter aus.“ Besonders im Bereich Künstlicher Intelligenz rase die Entwicklung. Glaser nannte Chat-Roboter, die inzwischen die Funktion emotionaler Sparringspartner erfüllten. „Damit verbundene parasoziale Beziehungen verzerren die Realität und erschweren die Einordnung, was künstlich und was echt ist.“
In seinem Jahresbericht lenkt Jugendschutz.net den Blick konkret auf folgende Gefahren:
„Charakter-Bots“
Die Experten sehen problematische Aspekte bei sogenannten Charakter-Bots – frei gestaltbaren KI-Gesprächspartnern, die zunehmend echt wirkten. „Sie beraten, coachen oder simulieren Beziehungen“. Durch lückenhafte Filter und unzureichende Sicherheitseinstellungen besteht demnach die Gefahr, dass solche Roboter auch sexuelle Handlungen mit Minderjährigen beschreiben oder die Rolle von Minderjährigen einnehmen, „die sexualisiert agieren“.
KI-Profile in Social Media
Storys und Posts von Nutzern, die gar keine sind? Mögliche KI-Profile auf Social-Media-Plattformen werden als „Einfallstor für Risiken“ bezeichnet. Schon in einer früheren Veröffentlichung von Jugendschutz.net hieß es: Verschiedene Anbieter trainierten KI darauf, menschliches Verhalten in Social Media zu imitieren. Das solle die Angebote interessanter machen und Nutzer dazu verleiten, mehr Zeit in den Diensten zu verbringen.
„KI-Models“, „KI-Influencer“ und „Skinnytok“
Dazu kommen „KI-Influencer“, die Perfektion als Maßstab setzten mit negativen Folgen für das Selbstbild von Minderjährigen oder „KI-Models“, die „übernatürlich schöne Körper“ zeigten und „die vor allem in der Masse negativen Einfluss auf die eigene Körperwahrnehmung von Kindern und Jugendlichen ausüben“. Jugendschutz.net warnt darüber hinaus vor einer Verherrlichung von Essstörungen und vor Verharmlosung von Magersucht und Bulimie durch Videos unter dem Hashtag „Skinnytok“ (Skinny=dünn) bei Tiktok, in denen dünn sein idealisiert wird.
„Umschlagplatz für gewaltverherrlichende Inhalte“
Die Jugendschützer nehmen auch die Plattform Discord ins Visier, wo sich Leute in Chaträumen zu den unterschiedlichsten Themen austauschen. Es handele sich um einen „Umschlagplatz für viele rechtsextreme, menschenfeindliche und gewaltverherrlichende Inhalte“. Dazu gehörten NS-Propaganda, Hass gegen Minderheiten sowie drastische Gewaltvideos. Bestimmte Chaträume konfrontierten junge Menschen „humoristisch oder strategisch verschleiert“, beiläufig mit entsprechenden Inhalten und beeinflussten ihre Weltsicht. Die Moderation sei oft unzureichend, Meldungen führten nicht zeitnah zur Löschung.
