El viernes 15 de marzo, se difundió por las redes sociales el video de un ataque a una mezquita en Nueva Zelanda, donde murieron más de 40 personas. Este video no es el primer caso de contenido violento o con mensajes de odio que pasa fácilmente los filtros diseñados por las compañías como Facebook y Google, permitiendo que los mensajes y acciones de grupos radicales se difundan.
Resumen
- Si bien las redes sociales tienen mecanismos sofisticados para bloquear y controlar la difusión de contenido violento o mensajes de odio, es muy fácil para los usuarios engañar los sistemas de seguridad.
- La difusión de esta clase de contenidos se ha vuelto un problema, pues grupos radicales usan las redes para promocionar sus ideologías y acciones.
- La fácil difusión de esta clase de contenidos no solo ha afectado a las compañías digitales económicamente, sino también ha despertado una preocupación política por regular lo que se publica en estas redes.
Algunos casos emblemáticos que revelan este problema
En abril del 2017, el asesinato de Robert Godwin fue grabado y compartido a través de redes sociales, principalmente Facebook. Steve Stephens, el hombre que cometió el homicidio, anunció por dicha red social su intención de asesinar a alguien. Posteriormente, Stephens grabó el homicidio y lo subió a Facebook. El video del asesinato se difundió por la red social por más de dos horas antes de ser removido de la plataforma.
Este 15 de marzo, se perpetró, en la ciudad de Christchurch, en Nueva Zelanda, un trágico atentado en el que murieron 51 personas y 49 resultaron heridas. Alrededor de las 2:00 pm, Brenton Tarrant ingresó a la mezquita Al Noor de Christchurch y abrió fuego contra los presentes. En este ataque, murieron 42 personas. Posteriormente, siete personas fueron asesinadas en otra mezquita de la misma ciudad y otras dos fallecieron cuando se encontraban en el hospital. Tal como en el caso anterior, el asesino informó por redes sociales sobre su intención e incluso compartió un link de Facebook en la página 8chan, informando que transmitiría el ataque en vivo por ahí. Incluso, cuando Facebook y otras redes sociales tomaron conocimiento del video y dedicaron sus esfuerzos para erradicarlo de su plataforma, se transmitió durante más de 24 horas por dichas plataformas.
¿Por qué es problemático que este tipo de contenido pase los filtros de las redes sociales tan fácilmente?
El problema es que las redes sociales se han vuelto un instrumento de grupos radicales no solo para dar a conocer sus ideologías y mensaje, sino también para difundir contenido violento como el ocurrido en Nueva Zelanda: Brenton Tarrant era un australiano que la prensa de su país había descrito como ultraderechista islamófobo.
Existen casos que evidencian esta tendencia aparte de los citados anteriormente. Por ejemplo, en el 2013, individuos vinculados al grupo islamista Al-Shabaab transmitieron en vivo, por Twitter, un ataque al centro comercial Westgate en Kenya. Adam Hadley, director de Tech Against Terrorist, grupo vinculado al Comité de Seguridad de las Naciones Unidas, explica que “el terrorismo es violencia política, por lo que los terroristas siempre han tenido que encontrar publicidad para influir en el cambio político”. En ese sentido, las redes sociales se han vuelto una herramienta para difundir su mensaje de odio o atentados.
¿Qué medidas toman las plataformas de redes sociales para combatir este tipo de difusiones?
Existen mecanismos por los que las distintas empresas regulan el contenido que sus usuarios publican. Facebook y Google, propietario de YouTube, han desarrollado mecanismos automatizados para regular este tipo de publicaciones. Por ejemplo, YouTube utiliza una función criptográfica conocida como hash, para marcar el contenido y eliminar cualquier publicación que sea similar. De hecho, de todos los videos borrados por YouTube, más del 80% es removido por YouTube antes de que cualquier persona los llegue a ver. Por otro lado, Facebook ha desarrollado un filtro que detecta sangre y audio para bloquear estos videos. Estos programas, que marcan contenidos y detectan patrones, son clave para impedir que se difundan fotos o videos, no solo violentos, sino también para bloquear la pornografía infantil, la propaganda terrorista y la difusión de material patentado.
Por otra parte, cuando los filtros automáticos fallan y dejan pasar contenido violento a la plataforma, Facebook y YouTube tienen equipos de moderadores encargados de revisar contenido sospechoso y bloquearlo en caso sea inadecuado. Asimismo, las empresas se apoyan en los mismos usuarios brindándoles la posibilidad de denunciar el contenido cuando infringe las políticas de la plataforma. Sin embargo, como evidencian los casos en los que se ha filtrado contenido violento a las redes sociales, todos estos mecanismos se han mostrado insuficientes.
¿Por qué es difícil regular este tipo de publicaciones?
Es difícil regular este tipo de publicaciones por dos razones. En primer lugar, los mecanismos automáticos de regulación no son infalibles y pueden ser engañados por los usuarios. Por otro lado, cuando este tipo de contenido es publicado, gran cantidad de gente lo comparte, lo que hace más difícil la labor de los moderadores para eliminarlo de la plataforma, por la cantidad de videos subidos.
Por ejemplo, en el caso del atentado en Nueva Zelanda, YouTube informó que el volumen de videos subidos por los usuarios no había tenido precedentes a nivel de escala y velocidad (llegando a alcanzar un nuevo video subido por segundo). La velocidad con la que fue compartido este contenido obligó a la compañía a cambiar su protocolo. Usualmente, su software no bloquea todos los contenidos, sino que deja pasar algunos de ellos para ser revisados por los moderadores humanos. En estos casos, los moderadores deciden si este contenido es apto para ser subido a la red o no. Al cambiar el protocolo, se pasó de esta modalidad a simplemente bloquear todos los contenidos violentos. Sin embargo, incluso tomando esta medida, el video de la matanza pudo ser compartido por varias horas.
Por otro lado, Facebook reportó que, a las 24 horas del ataque, habían circulado ya 1.5 millones de videos del ataque en su plataforma. Esto se debió a que aquellos que publicaron el video del ataque por Facebook hacían pequeños cambios a este para que no pueda ser detectado por los mecanismos de seguridad de la plataforma. Los filtros de Facebook y YouTube emplean algoritmos que reconocen patrones en el contenido para que sean bloqueados. Sin embargo, estos algoritmos pueden ser engañados cambiando la tonalidad del video, modificando su velocidad, sonido o tamaño, etc. De esta manera, cuando la gente quiere difundir este contenido, solo debe hacerle pequeños cambios para poder subirlos sin ser bloqueados.
¿Qué consecuencias ha traído este problema?
Los políticos de muchos países han empezado a ver la difusión de discursos intolerantes y contenido violento por redes como un problema. En Alemania, por ejemplo, aprobó una ley que establece que los sitios de redes sociales tienen hasta 24 horas para remover los contenidos que contengan discursos de odio. La Unión Europea ha propuesto multar a las redes como Facebook o YouTube si no remueven esta clase de contenidos dentro de la hora de ser publicados. Por otro lado, el primer ministro japonés, Shinzo Abe, propuso que se discuta el asunto en la siguiente reunión del G20.
