SAN FRANCISCO - Discord's hoofd van vertrouwen en veiligheid zei dinsdag dat het populaire chatplatform haar beleid voor de veiligheid van kinderen wijzigt en verduidelijkt, inclusief het beleid rond tienerdating en AI-gegenereerd materiaal over seksueel misbruik van kinderen, een aankondiging die komt na een onderzoek van NBC News vorige maand naar de veiligheid van kinderen op het platform.
John Redgrave, Discord's vicepresident van vertrouwen en veiligheid, zei dat Discord zijn beleid uitbreidde om generatieve kunstmatige intelligentie aan te pakken die nepcontent en de seksualisering van kinderen kan creëren, en specifiek het verbieden van AI-afbeeldingen van seksueel misbruik van kinderen en zelfs de seksualisering van kinderen in tekstchats. De Washington Post meldde in juni dat AI-gegenereerde kinderseksafbeeldingen de afgelopen maanden over het internet zijn verspreid.
Discord is een knooppunt voor gemeenschappen die zich toeleggen op het maken van generatieve AI-beelden en heeft verschillende integraties gehost waarmee gebruikers deze beelden kunnen maken. Seksueel getinte afbeeldingen worden vaak gemaakt op die servers.
Het bedrijf zei in een blogbericht waarin de wijzigingen werden aangekondigd dat het bijgewerkte beleid voor materiaal over seksueel misbruik van kinderen "elke tekst of media-inhoud omvat die kinderen seksualiseert, inclusief getekend, fotorealistisch en door AI gegenereerd fotorealistisch materiaal over seksueel misbruik van kinderen". Het doel van deze update is om ervoor te zorgen dat de seksualisering van kinderen in welke context dan ook niet wordt genormaliseerd door slechte actoren."
Redgrave zei ook dat het bedrijf bezig was met het invoeren van beleidswijzigingen en verduidelijkingen om tienerdating expliciet te verbieden, wat experts eerder aan NBC News vertelden als een belangrijke mogelijkheid voor volwassenen die kinderen willen uitbuiten of verzorgen.
Discord schreef in zijn blog post: "In deze context geloven we ook dat online daten kan resulteren in zelfgevaar. Onder dit beleid zijn tienerdatingservers verboden op het platform en we zullen actie ondernemen tegen gebruikers die zich met dit gedrag bezighouden."
Redgrave zei tijdens een presentatie op TrustCon, een conferentie voor vertrouwens- en veiligheidsprofessionals in San Francisco, dat het bedrijf dergelijke online relaties als een groot risico ziet voor jongeren.
"We staan niet langer tienerdating toe op ons platform omdat we erkennen dat het een aanzienlijke schadevector is voor roofdieren om achter tieners aan te gaan," zei hij.
In de richtlijnen van Discord stond al dat het bedrijf "ruimtes zou verwijderen die dating tussen tieners aanmoedigen of vergemakkelijken". In juni vond een onderzoek van NBC News honderden Discord-servers die kindermisbruikmateriaal leken te promoten, en een aantal servers die zichzelf adverteerden als tiener- of kinderdating-servers die naaktfoto's van minderjarigen vroegen. Daarnaast identificeerde NBC News 35 gevallen in de afgelopen zes jaar waarin volwassenen werden vervolgd op beschuldiging van ontvoering, kinderlokkerij of aanranding waarbij communicatie op Discord betrokken zou zijn geweest.
NBC News identificeerde nog eens 165 zaken, waaronder vier vermeende criminele bendes waarin volwassenen werden vervolgd voor het verzenden of ontvangen van kinderpornomateriaal via Discord, of voor het vermeende gebruik van het platform om kinderen af te persen tot het sturen van seksueel getinte afbeeldingen van zichzelf, ook bekend als sextortion.
Redgrave merkte op dat het bedrijf ook zijn beleid aan het bijwerken is om gevallen te verbieden waarin oudere tieners jongere tieners kinderlokken. In het blogbericht zegt het bedrijf: "Oudere tieners die een jongere tiener kinderlokken, zullen worden beoordeeld en vervolgd onder ons beleid inzake ongepast seksueel gedrag met kinderen en kinderlokkerij".
Als onderdeel van de beleidsupdates kondigde Discord de lancering aan van meer tools voor ouderlijk toezicht. In een nieuwe Family Center tool kunnen ouders en kinderen ervoor kiezen dat ouders updates ontvangen over de activiteiten van hun kinderen op het platform.
