Los sistemas de inteligencia artificial (IA) destinados a detectar contenido en línea abusivo tienen muchas más probabilidades de etiquetar los tweets como “ofensivos» si fueron publicados por personas que se identificadas como afroamericanas. Así lo indica un grupo de investigadores que construyó dos sistemas de IA y los probaron en un par de conjuntos de datos de más de 100.000 tweets que habían sido anotados por humanos con etiquetas como «ofensivo», «ninguno» o «discurso de odio”.
Uno de los algoritmos incorrectamente marcó el 46% de los tweets inofensivos de autores afroamericanos como ofensivos. Las pruebas en conjuntos de datos más grandes, incluido uno compuesto por 5,4 millones de tweets, encontraron que las publicaciones de autores afroamericanos tenían 1,5 veces más probabilidades de ser calificadas como ofensivas. Cuando los investigadores probaron Google Perspective, una herramienta de IA que la compañía permite que cualquiera use para moderar las discusiones en línea, encontraron prejuicios raciales similares.
Equilibrio difícil de alcanzar
Llos tiroteos masivos perpetrados por los supremacistas blancos en los Estados Unidos y Nueva Zelanda han llevado a crecientes llamados de los políticos a que las plataformas de redes sociales hagan más para eliminar el discurso de odio. Estos estudios subrayan cuán complicada es una tarea, ya que, si el lenguaje es ofensivo, puede depender de quién lo diga y quién lo escuche. Por ejemplo, el análisis de una persona negra que usa determinada palabra, puede resulta diferente de una persona blanca que la usa; sin embargo, los sistemas de inteligencia artificial no comprenden, y actualmente no pueden, ese matiz.
El riesgo
Según los expertos, al apresurarnos a utilizar software para eliminar automáticamente el lenguaje ofensivo, corremos el riesgo de silenciar las voces minoritarias.
Aseguran que moderar el contenido en línea es un trabajo traumático y difícil, por lo que las empresas tecnológicas están dispuestas a confiar en los sistemas de inteligencia artificial en lugar de los seres humanos (también son mucho más baratos). Este estudio muestra los enormes riesgos inherentes a ese enfoque.