Óscar de Gregorio Vicente/ Xiomara Patricia Blanco Valencia/ Sergio E. Arce García
La utilización de esta tecnología en el proyecto Hatemedia, supervisada por equipos interdisciplinarios, supone un gran avance en la mejora de la comprensión contextual, reduce sesgos algorítmicos y permite adaptarse a las dinámicas cambiantes del lenguaje y la comunicación digital.
En los últimos años, el uso de la inteligencia artificial (IA) en el análisis de textos y mensajes en entornos digitales, a través del Procesamiento del Lenguaje Natural (PLN, o NLP en inglés) utilizando técnicas de machine learning, ha sido y está siendo un gran avance en diferentes áreas. En el proyecto Hatemedia este tipo de algoritmos permiten detectar discursos de odio, identificando patrones lingüísticos (simples o complejos) en grandes volúmenes de datos.
Por otro lado, la IA generativa sobre modelos PLN se basa en redes neuronales avanzadas, o de última generación, como son los modelos de aprendizaje profundo tipo Transformer, o de arquitectura Transformer. Entre ellos destacan GPT (Generative Pre-trained Transformer), cuya aplicación más conocida es ChatGPT, y BERT (Bidirectional Encoder Representations from Transformers). Ambos han demostrado una gran capacidad para comprender y generar texto coherente y preciso.
En la detección del discurso de odio, estos modelos se entrenan con grandes bases de datos que contienen ejemplos de contenido ofensivo, discriminatorio o violento. Así, la IA puede identificar expresiones de odio incluso cuando están disfrazadas mediante ironía, eufemismos o variaciones lingüísticas, bien mediante diccionarios o repositorios de palabras (según el idioma) asociados a tipologías concretas, bien mediante el análisis de sintaxis, semántica y contexto.
Aunque es cierto que puede haber algún tipo de error por exceso o defecto en la detección de la expresión. En cualquier caso, su capacidad de adaptación y evolución continua facilita la monitorización del discurso de odio en múltiples entornos digitales, desde redes sociales hasta foros y medios de comunicación en línea. Además, procesando grandes cantidades de mensajes en tiempo real, mejora la precisión de su aprendizaje automático en función de nuevos datos y patrones detectados.
La IA puede identificar expresiones de odio incluso cuando están disfrazadas mediante ironía, eufemismos o variaciones lingüísticas, bien mediante diccionarios o repositorios de palabras (según el idioma) asociados a tipologías concretas, bien mediante el análisis de sintaxis, semántica y contexto.
También es importante conocer sus limitaciones a la hora de interpretar correctamente el contexto de un mensaje, ya que el discurso de odio puede aparecer escrito de forma indirecta. Con referencias culturales o expresiones sarcásticas difíciles de identificar para un modelo automático. O mediante ciertas técnicas de escritura simbólica o utilización de imágenes, emojis, memes, etc. Por esta razón, la evolución del lenguaje y la aparición de nuevos términos requieren constantes actualizaciones en los conjuntos de datos de entrenamiento, para evitar la clasificación de falsos positivos y/o falsos negativos.
Es decir, la IA podría etiquetar erróneamente como discurso de odio un mensaje o comentario inofensivo, lo cual a su vez podría limitar la libertad de expresión del usuario, o, por el contrario, dejar pasar contenido realmente ofensivo (incluso constitutivo de delito en el peor de los casos) por sus limitaciones en la comprensión del contexto. Así, ciertos grupos de usuarios (legales) podrían ser “sobreetiquetados” como generadores de odio, mientras que otros que sí deberían serlo quedarían subetiquetados, con lo que ello supondría en cuanto a la difusión de odio.
Partiendo de esta base, es evidente que la presencia de sesgos en los modelos de aprendizaje automático es uno de sus principales riesgos, debido a que estos sistemas se entrenan con datos históricos o de cierto decalaje temporal. Siendo así, la IA es capaz de ser un espejo de los prejuicios existentes en la sociedad, amplificándolos incluso. Por todo ello, la IA generativa es una herramienta de mucho potencial en la detección de discursos de odio, si bien, debe existir un equilibrio entre automatización y supervisión humana.
Dilemas éticos en la detección del odio mediante IA
Encontrar un equilibrio entre la automatización y supervisión humana es precisamente uno de los desafíos y dilemas éticos que existen actualmente. Se necesita preservar la libertad de expresión, garantizar la precisión y asegurar la equidad en los algoritmos empleados, considerando que el riesgo de sesgo está siempre presente.
Los modelos predictivos que clasifican el contenido como discurso de odio, identificando tipos o niveles de intensidad, dependen fuertemente de los datos utilizados para su entrenamiento. Estos datos pueden reflejar prejuicios de las personas involucradas durante la recolección, etiquetado y preprocesamiento de los datos, afectando el resultado final. Lo anterior, puede llevar a situaciones injustas o censuras equivocadas.
Es importante contar con equipos interdisciplinarios, integrados por profesionales que no solo sean del área tecnológica, sino también especialistas en ética, derecho y ciencias sociales, cuya perspectiva permita reducir el riesgo al sesgo, y garantizar detección de odio más justa y equitativa. Así, la detección automática de discursos de odio implica desarrollar algoritmos con criterios éticos integrados desde su concepción, que mitiguen desequilibrios y sesgos derivados del conjunto de datos.
Igualmente, la regulación europea establece que el desarrollo e implementación de sistemas basados en IA deben alinearse con principios de transparencia, auditabilidad y equidad, muy relevantes al tratar con temas sensibles como la detección automática de odio.
Es necesario proporcionar explicaciones claras y comprensibles sobre cómo se toman las decisiones, especialmente cuando afecte directamente a personas. Sin embargo, en modelos como las redes neuronales profundas, explicar claramente por qué cierto contenido es etiquetado como odio no siempre es sencillo, e implica un desafío técnico y ético para lograr ese equilibrio entre la precisión del modelo y su capacidad de ser comprensible para usuarios y auditores.
Por todo esto, los sistemas de IA deben someterse a evaluaciones periódicas para garantizar que las decisiones siguen siendo adecuadas frente a cambios sociales.
El futuro del Monitor de Odio con IA generativa
Garantizar sistemas éticos, transparentes y sostenibles para detectar discursos de odio utilizando IA es un desafío complejo, dado los constantes cambios tecnológicos y sociales. En el marco del proyecto Hatemedia, la IA generativa se presenta como una tecnología clave para mejorar el Monitor de Odio desarrollado durante su proceso, ofreciendo oportunidades y soluciones innovadoras en la identificación, análisis y explicabilidad de los discursos de odio en entornos digitales.
Aquí puedes ampliar la imagen.
Así, la IA generativa se aplica en la generación de datos sintéticos asociados a dichos discursos de odio, aumentando de esta forma la adaptabilidad del Monitor de Odio a la evolución del lenguaje. De esta forma, los modelos del lenguaje de los que se hablaba anteriormente tendrán la capacidad de identificar y comprender contextos semánticos que se adapten dinámicamente a las nuevas formas de expresión de odio.
Esto es relevante ya que, con la llegada de nuevas tecnologías ha surgido una industria del odio y la desinformación que utiliza estrategias cada vez más sofisticadas para influir (o intentarlo) en decisiones políticas y sociales. En este contexto, el concepto de “ingeniería social“, donde se manipulan datos para generar emociones que condicionan la opinión pública, refleja los desafíos actuales en el análisis y regulación del discurso de odio.
La aplicación de IA generativa supone un avance del Monitor de Odio desarrollado en el proyecto Hatemedia en cuanto a su capacidad para mejorar la comprensión contextual, reducir sesgos algorítmicos y adaptarse a las dinámicas cambiantes del lenguaje y la comunicación digital.
Por tanto, la aplicación de IA generativa supone un avance del Monitor de Odio desarrollado en el proyecto Hatemedia en cuanto a su capacidad para mejorar la comprensión contextual, reducir sesgos algorítmicos y adaptarse a las dinámicas cambiantes del lenguaje y la comunicación digital.
Si bien, para ello, es esencial una supervisión humana interdisciplinar en el proceso de clasificación y revisión de contenidos, en la que especialistas en semiótica, lingüística, ética y regulación digital colaboren con los desarrolladores del Monitor de Odio. De este modo, se garantiza que los algoritmos empleados junto con la IA generativa sean justos, equitativos y culturalmente adaptables a idiomas y contextos, consolidando una herramienta efectiva para la detección y análisis del discurso de odio en la sociedad contemporánea.
Glosario de términos:
- Transformer: arquitectura de red neuronal que utiliza mecanismos de atención para procesar todas las partes de una secuencia simultáneamente, superando las limitaciones de las redes recurrentes.
- Generative Pretrained Transformer (GPT): familia de modelos de lenguaje de la empresa OpenAI que utilizan Transformers para generar texto de forma predictiva, siendo preentrenados con grandes volúmenes de datos.
- Bidirectional Encoder Representations from Transformers (BERT): modelo de lenguaje de Google que procesa texto considerando el contexto en ambas direcciones (bidireccional), y a diferencia de GPT, utiliza principalmente la parte del codificador del Transformer y está diseñado para entender el contexto bidireccional de las palabras (considera tanto las palabras anteriores como las posteriores).
- Procesamiento del Lenguaje Natural (PLN): campo de la IA que se centra en la interacción entre las computadoras y el lenguaje humano. Combina lingüística computacional, aprendizaje automático y ciencias de la computación.
(*) Óscar de Gregorio Vicente es doctor en Ingeniería Matemática, Estadística e Investigación Operativa por la UCM y la UPM, y tiene un Máster en Educación del Carácter y Educación Emocional por la UNIR, y otro en Logística, Transporte y Seguridad Vial por la UNED. Profesor en la ETS de Ingeniería Civil (UPM), profesor asociado de la Facultad de CC. Matemáticas (UCM) y del Máster de Ingeniería Matemática y Computacional de la ETS de Ingeniería y Tecnología (ESIT) de UNIR). Investigador del Instituto de Transferencia e Investigación (ITEI) del Vicerrectorado de Transferencia de UNIR. Investigador en áreas como, por ejemplo, inteligencia artificial, probabilidad y estadística, inferencia bayesiana y modelización, optimización y simulación de redes. Más de 20 años de experiencia en consultoría e ingeniería de infraestructuras, participando y/o dirigiendo proyectos nacionales e internacionales en diferentes países.
(*) Xiomara Patricia Blanco Valencia es doctora en Informática y Automática por la Universidad de Salamanca-USAL y tiene un Máster en Sistemas Inteligentes por la USAL. Docente e investigadora de UNIR. Profesora de Aprendizaje Automático, Business Intelligence, Gobierno del Dato, Sistemas Cognitivos Artificiales, Sistemas Inteligentes en UNIR. Investigadora en áreas como el aprendizaje supervisado y el no supervisado, el aprendizaje profundo y el procesamiento del lenguaje natural. Cuenta con más de 15 años de experiencia en desarrollo de software y administración de bases de datos.
(*) Sergio Arce-García es colaborador de Hatemedia. Profesor de UNIR. Doctor en Humanidades y Comunicación con premio extraordinario con un Máster en Sistemas Integrados, técnico en prevención de riesgos laborales y licenciado en Ciencias Químicas. Pertenece al equipo investigador del grupo de investigación Comunicación y Sociedad Digital (COYSODI) en UNIR desde el 2020. Su principal línea de investigación se desarrolla sobre las redes sociales y medios de comunicación con métodos de análisis masivo y ‘machine learning’. Ha publicado decenas de artículos científicos de alto impacto indexados en WoS o Scopus, así como capítulos de libros.
Los capítulos anteriores de la serie:
- Cómo detectar y prevenir el odio en los medios de comunicación digitales a través de Hatemedia.
- El abecé de la desinformación y el odio: claves para entender y combatir las amenazas digitales.
- Las mujeres que ocupan cargos políticos, principales destinatarias del odio en las redes sociales.
- Odiadores en las redes: cómo operan, se organizan y afectan a la opinión pública.
- Algoritmos y técnicas de IA para la detección y clasificación del odio en las redes sociales y los medios.
- Un monitor para prevenir el odio en las redes sociales y los medios de comunicación.
Consulta aquí la última entrevista a Elías Said-Hung publicada en UNIR Revista.
- Escuela Superior de Ingeniería y Tecnología
- Facultad de Economía y Empresa
- Facultad de Educación
