Gagalnya Meta dalam Menangani Konten Berbahaya di Instagram 

December 7, 2024 By Abril Geralin

7 Desember 2024 Kasus terbaru mengenai pengelolaan konten berbahaya di platform media sosial Instagram, yang dimiliki oleh Meta, menunjukkan adanya masalah serius dalam upaya moderasi konten. Sebuah studi yang dilakukan oleh Digitalt Ansvar, sebuah organisasi yang mendukung pengembangan digital yang bertanggung jawab, mengungkapkan bahwa meskipun Meta mengklaim telah meningkatkan sistem moderasi menggunakan kecerdasan buatan (AI), perusahaan ini gagal menghapus konten terkait perilaku menyakiti diri sendiri, yang dapat membahayakan penggunanya.

Studi yang Mengungkap Kegagalan Moderasi Meta

Peneliti dari Denmark mengadakan eksperimen untuk menguji klaim Meta terkait penghapusan konten berbahaya di Instagram. Mereka membuat jaringan pribadi yang berfokus pada perilaku menyakiti diri sendiri, dengan membuat akun palsu yang mencakup orang berusia 13 tahun. Dalam jaringan ini, mereka mengunggah 85 gambar yang semakin meningkat tingkat kekerasannya, seperti gambar darah, pisau cukur, dan ajakan untuk melukai diri sendiri.

Eksperimen ini bertujuan untuk menguji klaim Meta yang menyatakan bahwa mereka dapat menghapus 99% konten berbahaya sebelum dilaporkan. Namun, hasilnya sangat mengecewakan. Selama eksperimen satu bulan tersebut, tidak ada satu pun gambar yang berhasil dihapus oleh Instagram. Meskipun Meta mengklaim bahwa mereka telah menghapus lebih dari 12 juta konten terkait bunuh diri dan perilaku menyakiti diri sendiri pada paruh pertama tahun 2024, penelitian ini menunjukkan bahwa teknologi yang ada, termasuk AI, tidak diterapkan dengan efektif​.

Kesenjangan Antara Klaim dan Realitas

Temuan ini menggambarkan kesenjangan yang signifikan antara klaim perusahaan dan kenyataan di lapangan. Meskipun Meta mengklaim bahwa sistem AI mereka dapat mengidentifikasi dan menghapus konten berbahaya secara otomatis, kenyataannya menunjukkan bahwa Instagram gagal menangani konten yang semakin parah ini. Hal ini menjadi bukti bahwa meskipun Instagram memiliki teknologi yang memadai, mereka tidak cukup serius dalam menerapkannya untuk melindungi pengguna dari konten yang berbahaya, terutama bagi remaja yang rentan terhadap pengaruh media sosial.

Dampak Terhadap Kesejahteraan Mental Pengguna

Kasus ini mempertegas tantangan besar yang dihadapi oleh platform media sosial dalam menjaga kesejahteraan mental penggunanya, khususnya remaja. Konten yang mendorong perilaku berbahaya, seperti self-harm, sering kali tersembunyi dalam kelompok-kelompok kecil atau ruang pribadi yang sulit diawasi. Meskipun perusahaan telah mengambil langkah-langkah dengan memperkenalkan pengaturan perlindungan yang lebih ketat untuk pengguna muda, upaya ini terbukti belum cukup efektif untuk menangani penyebaran konten berbahaya.

Edukasi yang dapat diambil dari kasus ini adalah pentingnya kesadaran akan dampak media sosial terhadap kesehatan mental, terutama di kalangan remaja. Banyak remaja yang belum sepenuhnya memahami risiko dari konten yang mereka temui di dunia maya. Oleh karena itu, orang tua, pendidik, dan pengguna itu sendiri harus lebih berhati-hati dalam melindungi diri dari konten berbahaya serta mengenali tanda-tanda perilaku menyakiti diri sendiri. Dalam hal ini, peran edukasi dan pemahaman yang lebih baik sangat penting untuk mencegah dampak negatif yang bisa muncul.

Langkah yang Harus Diambil oleh Meta dan Platform Media Sosial Lainnya

Meta dan platform media sosial lainnya perlu mengambil tanggung jawab lebih besar dalam melindungi kesejahteraan penggunanya. Tidak hanya mengandalkan teknologi AI, perusahaan juga harus memperkuat peran manusia dalam proses moderasi konten. Mengingat jumlah konten yang berbahaya sangat besar, AI saja tidak cukup. Intervensi manusia dalam memverifikasi dan menindaklanjuti konten yang melanggar aturan perlu ditingkatkan.

Selain itu, regulasi yang lebih ketat juga diperlukan untuk memastikan platform-platform ini lebih responsif terhadap masalah kesehatan mental yang ditimbulkan oleh konten berbahaya. Undang-Undang Layanan Digital (DSA) yang berlaku di Uni Eropa adalah contoh regulasi yang mewajibkan platform untuk lebih bertanggung jawab dalam mengidentifikasi dan mengurangi risiko yang dapat membahayakan kesejahteraan pengguna, terutama yang berhubungan dengan kesehatan mental​

Kasus ini menunjukkan bahwa meskipun perusahaan besar seperti Meta telah mengklaim telah mengambil langkah-langkah untuk melindungi penggunanya, kenyataannya masih banyak yang perlu diperbaiki dalam hal moderasi konten. Untuk melindungi kesejahteraan mental pengguna, terutama remaja, platform media sosial harus melakukan tindakan yang lebih nyata dan terukur. Selain itu, pengguna, orang tua, dan pendidik juga harus berperan aktif dalam mengedukasi diri mereka tentang risiko yang ada di dunia maya dan bagaimana cara melindungi diri dari konten berbahaya.