TikTok telah memblokir 20 akun setelah BBC menyoroti penggunaan influencer wanita kulit hitam yang dihasilkan oleh AI untuk mengarahkan pengguna ke situs yang mempromosikan konten seksual eksplisit.
Mereka adalah bagian dari tren yang berkembang di Instagram dan TikTok yang telah dikritik sebagai rasis, eksploitatif, dan menyesatkan karena stereotip dan bahasa rasial yang digunakan.
BBC dan para peneliti dari publikasi AI independen Riddance menemukan puluhan akun di kedua platform tersebut yang menampilkan karakter atau avatar digital perempuan kulit hitam yang sangat seksual.
Gambar dan video tersebut dihasilkan oleh AI tetapi tidak diberi label demikian, yang tampaknya melanggar pedoman platform tersebut.
Hampir semua akun tersebut berada di Instagram dan sekitar sepertiganya juga memiliki versi di TikTok. Perusahaan induk Instagram, Meta, mengatakan kepada BBC bahwa mereka sedang menyelidiki, tetapi tidak mengatakan telah mengambil tindakan apa pun.
Avatar-avatar tersebut sering digambarkan mengenakan pakaian renang minim atau pakaian terbuka lainnya dan digambarkan dengan bentuk tubuh yang dilebih-lebihkan.
Nama akun mencakup istilah-istilah seperti “hitam”, “noir”, “gelap”, dan “ebony”. Beberapa di antaranya menyertakan komentar tentang pria kulit putih dalam unggahan mereka, seperti “menyukai pria kulit putih” dan “mengapa saya membutuhkan pria kulit putih dalam hidup saya”. Banyak akun yang saling mengikuti atau menyukai satu sama lain.
BBC, bekerja sama dengan analis Jeremy Carrasco dan Angel Nulani dari Riddance, telah mengidentifikasi 60 akun semacam itu, sebagian besar di Instagram, yang memuat tautan, atau rangkaian tautan, ke konten seksual eksplisit berbayar di situs pihak ketiga. Situs-situs tersebut memberi label gambar tersebut sebagai hasil buatan AI, tetapi akun Instagram tidak.
Penelitian ini juga mengidentifikasi banyak akun lain di Instagram dan TikTok dengan avatar buatan AI serupa yang tidak terhubung ke konten berbayar.
‘Aku marah’
Salah satu akun yang ditutup oleh TikTok – meskipun masih beroperasi di Instagram pada saat publikasi – telah menimbulkan kemarahan lebih lanjut karena mencuri video dari orang sungguhan.
Akun ini disajikan sebagai akun dari karakter yang dihasilkan oleh AI yang menarik dan telah mengumpulkan tiga juta pengikut dalam beberapa minggu setelah dibuat pada bulan Desember.
Namun, mereka telah memodifikasi dan mengunggah video dari kreator konten asli, Riya Ulan, seorang model yang berbasis di Malaysia.
Wajah avatar, yang memiliki warna kulit buatan yang sangat gelap, ditumpangkan ke tubuh Riya, dan gerakan, pakaian, serta latar belakang Riya direplikasi.
“Saya marah,” kata Riya kepada BBC. “Tentu saja semua video saya ada di luar sana… Itu tidak berarti Anda bisa begitu saja mengambilnya, mencurinya, dan mengunggahnya sebagai milik Anda sendiri.”
Salah satu video yang dimanipulasi tersebut mencapai lebih dari 35 juta penayangan di TikTok dan 173 juta di Instagram, sekitar 47 kali lipat jumlah penayangan pada unggahan asli Riya.
Meskipun ketiga video yang jelas-jelas sesuai dengan konten Riya bukanlah konten seksual, video lain di akun AI yang menggunakan karakter digital yang sama menunjukkan karakter tersebut mengenakan pakaian terbuka atau melakukan tindakan provokatif. Serangkaian tautan dari akun tersebut mengarah ke konten dewasa berbayar.
“Saya tidak yakin apakah saya lebih khawatir tentang mereka menggunakan video saya untuk mempromosikan konten eksplisit mereka atau [bahwa] orang-orang benar-benar mempercayai hal itu,” katanya.
Semakin sulit bagi pengguna untuk membedakan apakah konten itu asli dan “orang terus tertipu oleh model AI ini”, tambahnya.
Banyak penonton tampaknya memperlakukan avatar tersebut sebagai nyata, meskipun fitur-fiturnya tidak realistis. Dalam unggahan atau cerita Instagram, beberapa akun menyangkal menggunakan AI, termasuk akun yang mengambil konten Riya.
Riya mengatakan dia telah melaporkan akun tersebut ke kedua platform beberapa kali, tetapi pada saat itu, konten tersebut tidak dihapus. TikTok memblokir akun tersebut setelah BBC menghubungi mereka untuk meminta komentar.
‘Penggambaran yang tidak realistis’
“Saya percaya akun-akun ini bersifat rasis karena keberadaannya melanggengkan sejarah panjang eksploitasi terhadap orang kulit hitam,” kata Nulani, salah satu peneliti.
“Penggunaan karikatur, terminologi yang berbau rasisme, dan penggambaran perempuan kulit hitam yang tidak realistis membuktikan bahwa mereka tidak peduli dengan keselamatan atau kesejahteraan kami, melainkan kemampuan kami untuk dimanfaatkan sebagai bagian dari mesin pornografi online,” tambahnya.
Carrasco, yang mengkritik tren dan teknik AI di akun media sosialnya, mengatakan “hal baru yang terjadi adalah banyaknya penggambaran rasis dan tidak tahu malu terhadap orang-orang kulit hitam”.
Meskipun “fetish itu” mungkin pernah ada di masa lalu, AI “memberikannya daya tarik baru,” katanya. Dia menjelaskan bahwa AI mempermudah penghapusan rona dasar pada gambar dan video untuk menciptakan warna kulit gelap yang tidak alami, dan untuk menciptakan efek yang sebelumnya membutuhkan animasi atau pewarnaan kulit.
Selain itu, katanya, tidak ada konsekuensi sosial bagi sebuah avatar: “Tidak ada rasa malu… itu adalah sesuatu yang secara unik dimanfaatkan oleh AI.”
Houda Fonone, seorang model dan kreator konten asal Maroko yang memperjuangkan representasi perempuan kulit hitam yang lebih autentik, mengatakan bahwa tren ini adalah tentang “penghapusan”.
“Rambut selembut sutra, tubuh yang sangat kurus, dan kulit yang sangat mulus… seolah-olah kecantikan wanita kulit hitam hanya bisa diterima jika ‘diperhalus’.”
Dia mengatakan hal ini berisiko memperkuat stereotip sementara “kisah dan pengalaman hidup nyata kita digantikan oleh citra buatan”.
BBC mengirimkan contoh akun yang kami identifikasi kepada Meta dan TikTok, dan meminta tanggapan mereka.
Dua hari kemudian, juru bicara TikTok mengatakan kepada BBC bahwa perusahaan tersebut telah “menghapus konten dan memblokir akun yang melanggar aturan kami”.
Dalam beberapa hari, 20 akun telah diberi label “diblokir” di aplikasi tersebut.
“TikTok melarang konten yang dihasilkan AI tentang individu yang digunakan tanpa izin mereka, kami memiliki toleransi nol terhadap konten yang mempromosikan layanan seksual di luar platform,” kata juru bicara tersebut.
Perusahaan tersebut menyatakan bahwa mereka melarang dan menghapus konten yang dihasilkan AI yang berbahaya atau menyesatkan, dan mewajibkan pengguna untuk memberi label pada konten yang dihasilkan AI yang realistis. Mereka juga mengatakan telah menerapkan pelabelan yang benar pada sejumlah video.
Meta mengatakan pihaknya sedang menyelidiki konten yang dilaporkan kepada mereka.
Instagram menyatakan ingin pengguna mengetahui kapan mereka melihat unggahan yang dibuat dengan AI, dan bahwa mereka memiliki kebijakan untuk memberi label pada konten yang dihasilkan AI. Sembilan akun Instagram yang dilacak BBC tampaknya sudah tidak ada lagi.
Baik platform tersebut maupun platform lainnya tidak memberikan rincian tentang tanggapan mereka terhadap laporan awal Riya.