Talento Joven Fundación BBVA Flor Miriam Plaza del Arco, informática: «El odio sale rentable. Se usa para que las redes sean más adictivas. Necesitamos máquinas que lo detecten»
Es una experta en insultos. Esta informática desarrolla herramientas para detectar los discursos de odio en internet, a menudo enmascarados con sarcasmos, que las máquinas no 'captan'. por ello ha sido premiada por la Fundación BBVA y la Sociedad Científica Informática de España (SCIE).
Viernes, 11 de Abril 2025, 12:17h
Tiempo de lectura: 2 min
Empezó desarrollando un bot «que estaba programado para provocar». El objetivo de Flor Miriam Plaza del Arco (Villacarrillo, Jaén, 1994) era recopilar expresiones injuriosas para ayudar a la inteligencia artificial a detectar mensajes sexistas, homófobos o racistas. «Pero lo que podía considerarse una ofensa grave en una región geográfica resultaba inocuo o ambiguo en otra. Y una expresión como 'de p… madre' plantea enormes retos técnicos. Dependiendo del contexto o del estado de ánimo, cambia su sentido; y la máquina falla a menudo a la hora de descifrarla», expone esta investigadora, galardonada en 2024 con el premio a jóvenes talentos informáticos de la Fundación BBVA y la SCIE.
«El odio se utiliza para generar engagement, para hacer las redes más adictivas. Sale demasiado rentable. Para erradicarlo, necesitamos detectar no solo las expresiones explícitas, sino también la ironía y el sarcasmo, que se usan para enmascararlo. Los sistemas no son buenos en esto». Si las máquinas fueran más eficaces, añade, sería posible crear mejores herramientas automáticas que moderen contenidos a gran escala, un problema cada vez más acuciante desde que las grandes plataformas están optando por prescindir de la moderación humana.
«Con el idioma tenemos otro problema: ChatGPT fue entrenado con menos de un 5 por ciento de contenido en español»
«Cuando enseñamos a las máquinas a comprender el lenguaje, las entrenamos con datos que están en Internet, que es un reflejo de la sociedad y contiene sesgos. Por ejemplo, si le preguntas a un modelo cómo se sentiría una mujer cuando la deja su pareja, responderá que triste. Mientras que para un hombre diría que enfadado. Y con el idioma, además, tenemos otro problema: ChatGPT fue entrenado con menos de un 5 por ciento de contenido en español», explica.
«Los modelos de lenguaje también se usan para apoyo emocional. Vemos que los jóvenes tienen cada vez más problemas de salud mental, pero muchos no pueden pagarse una terapia con los salarios actuales y el precio del alquiler, y recurren a la IA», reflexiona esta investigadora, que se acaba de incorporar a la Universidad de Leiden (Holanda). «Necesitamos un marco regulador que defina cómo deben responder estos sistemas cuando detectan vulnerabilidad emocional».
Las claves de mi investigación
1
«Desarrollo sistemas que no solo detectan el discurso de odio explícito, sino que analizan el contexto. Por ejemplo, recursos humorísticos que enmascaran mensajes dañinos».
2
«Investigo cómo evitar que los sesgos y estereotipos se trasladen a la inteligencia artificial. De este modo, intento ayudar a crear modelos de lenguaje más justos».
3
«Trabajo con sociólogos y filósofos para entender mejor los fenómenos sociales, antropológicos y humanísticos que afectan a la tecnología. La IA puede (y debería) servir para mejorar la sociedad».
4
«Estudio cómo hacer que los modelos de lenguaje sean más inclusivos con diferentes idiomas y culturas; están muy sesgados hacia el inglés y no representan la diversidad lingüística mundial».
En 22 segundos
