Videos tóxicos con contenido sexual, la investigación de The Wall Street Journal
Una larga investigación del periódico estadounidense de hace algunos años, destacó cómo el algoritmo de Instagram ofrece una mezcla de videos tóxicos, incluidos videos con contenido sexual de niños. El periódico descubrió que los algoritmos gestionados por Meta, propietaria de Facebook e Instagram, conectan amplias comunidades de usuarios interesados en contenidos sexuales que a menudo también involucran a menores.
Básicamente, a través de cuentas de prueba se detectó que la plataforma contenía una mezcla de pornografía para adultos y material sexual para niños. Una acusación grave ante la cual Meta no tardó en responder, estableciendo una task force y ampliando sus sistemas automatizados para detectar usuarios que se comportan de manera sospechosa, bloqueando periódicamente decenas de miles de estas cuentas.
La investigación del periódico estadounidense duró meses, durante los cuales se crearon cuentas de prueba en Instagram por parte de adultos para seguir a gimnastas, porristas y otros jóvenes influenciadores. Los resultados mostraron que seguir solo a las chicas hizo que Instagram comenzara a publicar vídeos de cuentas que promovían contenidos sexuales para adultos junto con anuncios de grandes marcas de consumo. Los expertos en algoritmos encontraron que, partiendo de un contenido inocuo como la gimnasia, algunos usuarios de Instagram que seguían a niñas gimnastas preadolescentes se encontraban interactuando con videos de contenido sexual, lamentablemente, también con niños.
“Los contenidos de nicho proporcionan una señal mucho más fuerte en comparación con los contenidos de interés general”, afirmó Jonathan Stray, científico senior del Center for Human-Compatible Artificial Intelligence en la Universidad de California, Berkeley. Los contenidos de nicho se definen así porque suelen ser menos genéricos y están orientados a un público definido (diseñadores, aficionados a la lectura, etc.) o a una actividad muy específica. Una vez que Instagram identifica a un usuario como interesado en un tema particular, sus sistemas de recomendación están entrenados para dirigirle más contenidos relacionados. La investigación reveló que la tendencia de los algoritmos de Instagram a agregar contenidos sobre la sexualización infantil en toda su plataforma ya era conocida internamente como un problema. Pero impedir que el sistema continúe ofreciendo contenidos nocivos a los usuarios interesados – explican los expertos – requiere modificaciones significativas a los algoritmos de recomendación, es decir, sistemas de filtrado de contenidos muy difíciles de gestionar incluso por los encargados de seguridad de la plataforma que a menudo no tienen acceso a este tipo de sistema.
Alarma Reels: difícil gestionar los contenidos
También están bajo acusación los Reels, el servicio de Instagram que permite compartir mini videos (primero podían ser de solo quince segundos, ahora pueden durar hasta noventa segundos) que plantean diversos problemas de seguridad, según ex empleados de Meta.
“Parte del problema – explican – es que los sistemas automatizados de aplicación de normas tienen más dificultades para analizar los contenidos en video en comparación con el texto o las imágenes fijas. Otra dificultad surge del modo en que funcionan los Reels: en lugar de mostrar contenidos compartidos por los amigos de los usuarios, como suelen hacer otras partes de Instagram y Facebook, los Reels promueven videos de fuentes que no siguen”.
Meta, propietaria de Instagram, declaró tras la publicación del informe que había eliminado de la plataforma miles de hashtags utilizados por pedófilos para ponerse en contacto con vendedores y otros criminales sexuales y que había introducido nuevas funcionalidades para hacer aún más difícil que los adultos interactúen con los adolescentes.
Necesaria una educación digital
En conclusión, las plataformas pueden ser muy insidiosas o incluso dañinas, como investigaciones y estudios periódicamente demuestran. Si queremos centrarnos en el caso específico de Instagram, es importante considerar la naturaleza particular de esta red social, que la convierte en la más peligrosa en absoluto, siendo una red social basada exclusivamente en la apariencia: su objetivo es mostrar el propio nivel de vida, lo que se hace y lo que se posee. Se basaría en un mecanismo continuo de comparación social con los demás en una continua maniobra de superación.
Si pudiéramos compararla con uno de los 7 pecados capitales, probablemente sería el pecado de la vanidad. Mientras que, por ejemplo, en Tik Tok tiene un peso más importante la performance, como la habilidad para cantar en playback o bailar, o en Facebook la exteriorización del propio estado de ánimo a través de los estados, en Instagram domina exclusivamente la voluntad de aparentar, exhibirse y hacer percibir a todos los demás su inferioridad respecto a lo que somos o poseemos. En esta perspectiva, es fácil encontrarse, más o menos inconscientemente, con contenidos tóxicos y por eso es necesario tener una cierta consciencia que alerte de posibles peligros. Así como es un hecho, confirmado por datos y estadísticas, que los niños utilizan las redes sociales durante muchas horas al día y que a menudo lo hacen sin la supervisión de los padres. No todo lo que ofrece la red es negativo, obviamente, pero es necesario gestionar el medio con consciencia, para conocer lo más posible, además de los beneficios, también los posibles riesgos. Y en el caso de los menores esta responsabilidad es especialmente de los padres. La educación, un arte fascinante y siempre nueva arte, es cada vez más también educación digital.