In zwei neuen Berichten – «In die Dunkelheit getrieben: Wie TikTok Selbstverletzungen und Suizidgedanken fördert» und «Ich fühle mich ausgeliefert: Gefangen im Überwachungsnetz von TikTok» – wird aufgezeigt, wie minderjährige und jugendliche TikTok-Nutzer*innen schädlichen Inhalten ausgesetzt werden und weshalb diese Menschenrechtsverstösse dem Geschäftsmodell und der Funktionsweise der Plattform geschuldet sind. Die Erkenntnisse stammen aus einer gemeinsamen technischen Untersuchung von Amnesty International, dem Algorithmic Transparency Institute (ATI) und der National Conference on Citizenship and AI Forensics.
«Die Berichte entlarven die manipulative und süchtig machende Gestaltung von TikTok-Feeds, die darauf abzielen, die Nutzer*innen so lange wie möglich auf der Plattform zu halten. Zudem wird dokumentiert, wie die Funktionsweise von TikTok – nämlich die durch Algorithmen angezeigten Empfehlungen – Kinder und Jugendliche mit bestehenden psychischen Problemen ernsten Gefahren aussetzen können», sagt Lisa Dittmer, Tech-Expertin bei Amnesty International.
Problematischer «Für dich»-Feed
Für die technischen Recherchen wurden mehr als dreissig automatisierte Konten eingerichtet, die vermeintlich 13-jährigen Nutzer*innen in Kenia und den USA gehörten. Die Konten ermöglichten es, die Auswirkungen der algorithmischen Empfehlungen auf junge Nutzer*innen zu erfassen. Eine zusätzliche manuell durchgeführte Simulation umfasste je ein Konto in Kenia, den Philippinen und den USA.
Der Bericht «In die Dunkelheit getrieben: Wie TikTok Selbstverletzungen und Selbstmordgedanken fördert» erläutert, wie TikTok mit dem unablässigen Wetteifern um die Aufmerksamkeit seiner jungen Nutzer*innen riskiert, psychische Probleme wie Depressionen, Angstzustände und Selbstverletzung noch weiter zu verstärken.
Der «Für dich»-Feed von TikTok ist eine hochgradig personalisierte Seite, durch die man endlos weiter scrollen kann. Sie enthält algorithmisch empfohlene Inhalte, die das System nach den mutmasslichen Interessen der Nutzer*innen auswählt.
Die technischen Recherchen ergaben, dass der Feed nach nur 5-6 Stunden auf der Plattform fast zur Hälfte aus Videos über psychische Gesundheit bestand, die potenziell schädliche Inhalte aufwiesen – das sind zehnmal mehr einschlägige Videos als bei Konten, die kein Interesse an Inhalten zu psychischer Gesundheit signalisierten.
Innerhalb einer Stunde wurden zahlreiche empfohlene Videos angezeigt, die Suizid normalisierten oder romantisierten.
Diese Abwärtsspirale trat sogar noch schneller ein, wenn die Videos über psychische Gesundheit, die den Testkonten der vermeintlichen 13-jährigen Nutzer*innen in Kenia, den Philippinen und den USA vorgeschlagen wurden, von den Amnesty-Expert*innen angeklickt und angesehen wurden.
Nach drei bis 20 Minuten bestand der «Für dich»-Feed mit dieser Methode zu mehr als der Hälfte aus Videos, die psychische Probleme thematisierten. Innerhalb einer Stunde wurden zahlreiche empfohlene Videos angezeigt, die Suizid normalisierten oder romantisierten.
Sucht mit System
Die Gestaltung der TikTok-Plattform fördert die ungesunde Nutzung der App. Dies geht aus Fokusgruppengesprächen und Interviews hervor und zeigt sich anhand der eigens eingerichteten Testkonten vermeintlicher Minderjähriger in Kenia, auf den Philippinen und in den USA. Bestehende Forschungserkenntnisse zu Sozialen Medien und öffentlicher Gesundheit untermauern dies.
*Luis, ein 21-jähriger Student in Manila, bei dem eine bipolare Störung diagnostiziert wurde, berichtete Amnesty International über seine Erfahrung mit dem «Für dich»-Feed von TikTok. «Es ist eine Abwärtsspirale, die mit einem einzigen Video beginnt. Wenn ein Video deine Aufmerksamkeit erhascht, selbst wenn es dir nicht gefällt, wird es dir beim nächsten Öffnen von TikTok angezeigt, und weil es dir bekannt vorkommt, schaust du es dir erneut an, wodurch die Häufigkeit des Videos in deinem Feed exponentiell ansteigt», erklärte Luis.
*Francis, ein 18-jähriger Schüler in der Provinz Batangas auf den Philippinen, sagte: «Wenn ich ein trauriges Video anschaue, mit dem ich mich identifizieren kann, dann ist auf einmal mein gesamter ‘Für dich‘-Feed traurig und ich lande in ‚SadTok‘ [deutsch wörtlich: ‚Traurig-Tok‘]. Das wirkt sich auf meine Gefühlswelt aus.»
Ein weiterer Teilnehmer der Fokusgruppe erklärte: «Die Inhalte, die ich sehe, kurbeln meine Gedankenspirale [noch] weiter an, gerade Videos, in denen jemand krank ist oder sich selbst diagnostiziert. Das wirkt sich auf meine psychische Verfassung aus. Ich habe das Gefühl, dieselben Symptome zu haben, und meine Ängste werden schlimmer. Und ich suche sie [die Videos] nicht einmal bewusst, sie erscheinen einfach in meinem Feed.»
*Joyce, eine 21-jährige Frau auf den Philippinen, sagte: «Ich habe es [TikTok] eine Zeit lang gelöscht, weil ich sehr süchtig danach war... Ich habe so viele Stunden auf TikTok verbracht, nur um durch die Videos zu scrollen, weil ich immer wieder wissen wollte, was als Nächstes kommt, wenn man nach unten scrollt.»
Die in Kenia befragten Minderjährigen sagten, dass sie das Gefühl hatten, dass ihre TikTok-Nutzung ihre Arbeit für die Schule und ihre Zeit mit Freund*innen beeinträchtigte und sie dazu brachte, bis spät in die Nacht durch ihre Feeds zu scrollen, anstatt genügend Schlaf zu bekommen.
Diese Aussagen wurden von verschiedenen Jugendpsychologen bestätigt, die von Amnesty International im Rahmen der Untersuchung konsultiert wurden.
«Unsere Recherchen zeigen, dass TikTok Jugendliche ernsthaften Gesundheitsrisiken aussetzt, wenn es sein derzeitiges Geschäftsmodell beibehält.» Lisa Dittmer, Researcherin bei Amnesty International
Individuelle Reaktionen junger Menschen und die Kontextfaktoren, die ihre Nutzung sozialer Medien beeinflussen, können zwar variieren, aber TikTok hat wie andere Social-Media-Plattformen Gestaltungsformate entwickelt, die darauf abzielen, die Zeit, die die Nutzer*innen auf der Plattform verbringen, zu maximieren.
«Unsere Recherchen zeigen, dass TikTok Jugendliche ernsthaften Gesundheitsrisiken aussetzt, wenn es sein derzeitiges Geschäftsmodell beibehält. Dieses ist mehr darauf ausgerichtet ist, die Augen auf der Plattform zu halten, als das Recht auf Gesundheit von Kindern und Jugendlichen zu respektieren», sagte Lisa Dittmer, Researcherin bei Amnesty International.
Das Netz der Überwachung
Der Bericht «Ich fühle mich ausgeliefert: Gefangen im Überwachungsnetz von TikTok» zeigt, dass die Datenerhebungspraktiken von TikTok nicht nur Rechte verletzten, sondern durch diese schädlichen Praktiken der Nutzerbindung noch gefördert werden.
TikTok wendet seine Schutzmassnahmen nur in bestimmten Teilen der Welt an, so dass einige Kinder und Jugendliche der ausbeuterischen Datensammlung noch stärker ausgesetzt sind als andere.
Die Recherchen von Amnesty International zeigen, dass das Geschäftsmodell von TikTok von Natur aus missbräuchlich ist und die Nutzer*innen belohnt, um sie an die Plattform zu binden und immer mehr Daten über sie zu sammeln. Ausserdem wendet TikTok seine Schutzmassnahmen nur in bestimmten Teilen der Welt an, so dass einige Kinder und Jugendliche der ausbeuterischen Datensammlung noch stärker ausgesetzt sind als andere.
«TikTok zielt in Teilen der Welt, in denen die Menschen aufgrund lokaler Gesetze und Vorschriften weniger Datenschutzrechte haben, mit invasiveren Datenerfassungspraktiken auf Nutzer*innen ab, darunter auch Minderjährige. Das bedeutet, dass Minderjährige, die in Ländern mit schwacher Regulierung leben, darunter viele Länder der sogenannten Global Majority, den schlimmsten Verstössen gegen ihr Recht auf Privatsphäre ausgesetzt sind», sagte Lauren Armistead, stellvertretende Direktorin des Programms Amnesty Tech. «TikTok muss – nicht nur in Europa – die Rechte all seiner jüngeren Nutzer*innen respektieren, indem es jegliche gezielte Werbung verbietet, die sich an Personen unter 18 Jahren weltweit richtet.»
TikTok muss auch aufhören, den «Für dich»-Feed standardmässig zu personalisieren, und stattdessen den Nutzer*innen die Möglichkeit geben, aktiv zu entscheiden, welche Interessen ihre Inhaltsempfehlungen beeinflussen, und zwar auf der Grundlage ihrer informierten Zustimmung und wenn sie einen personalisierten Feed wünschen.
Amnesty International fordert TikTok auf, diese dringenden Schritte in Richtung eines die Rechte respektierenden Geschäftsmodells zu unternehmen, allerdings ist auch eine verbindliche Regulierung notwendig, um die Rechte von Kindern und Jugendlichen zu schützen.
Der beste Weg, Minderjährige vor dem Missbrauch ihrer persönlichen Daten im Internet zu schützen, besteht darin, dass Regierungen jede gezielte Werbung, die auf der invasiven Erhebung persönlicher Daten beruht, gesetzlich verbieten.
Als Reaktion auf unsere Feststellungen verwies uns TikTok auf seine Community-Richtlinien, in denen festgelegt ist, welche Arten von Inhalten verboten sind und daher von der Plattform entfernt werden, wenn sie gemeldet oder anderweitig identifiziert werden. Dazu gehört ein Verbot von Inhalten, die «Suizid und Selbstverletzung zeigen, fördern oder Anleitungen dazu geben, sowie damit zusammenhängende Herausforderungen, Mutproben und Spiele, die ‚Suizid- und Selbstverletzungshandlungen zeigen oder fördern‘ und ,Pläne für Suizid und Selbstverletzung teilen‘».
TikTok erklärte, dass ein Prozess eingeleitet wurde, um einen «unternehmensweiten Prozess der menschenrechtlichen Sorgfaltspflicht zu entwickeln, der die Durchführung regelmässiger Bewertungen der Auswirkungen auf die Menschenrechte beinhaltet.» Das Unternehmen machte jedoch keine Angaben dazu, welche spezifischen Risiken für die Menschenrechte von Minderjährigen und jungen Nutzer*innen es identifiziert hat. Dass TikTok derzeit keine unternehmensweite menschenrechtliche Sorgfaltsprüfung durchführt, ist ein klares Versäumnis des Unternehmens, seine Verantwortung für die Achtung der Menschenrechte wahrzunehmen.