Rumman Chowdhury
La experta en ética de la inteligencia artificial alerta sobre los riesgos sociales de una IA sin regulación y reclama responsabilidad a quienes la desarrollan
En 2018, la revista Forbes la incluyó entre las cinco personas que «están construyendo el futuro de la inteligencia artificial». Rumman Chowdhury (Nueva York, 1980) no solo ha sido directora del equipo de Ética Algorítmica en Twitter hasta la llegada de Elon Musk, también ha asesorado a gobiernos, trabajado como científica de datos en el sector privado y liderado iniciativas en Harvard y Naciones Unidas. Todo su recorrido profesional parte de una premisa: no puede haber inteligencia artificial sin ética como parte, entre otros, del AI Council de Qlik.
-Ha trabajado tanto en el sector privado como en organizaciones sin fines de lucro. ¿Cómo ha influido su experiencia en empresas como Accenture y Twitter en su perspectiva sobre la ética en la IA?
-A diferencia de muchos en el sector, he trabajado en la industria y lo veo como un problema práctico que requiere soluciones altamente cualificadas. Me gusta actuar, hacer cosas y trabajar en la industria me ayuda a entender cómo puedo crear soluciones, pero también a identificar las tensiones y dificultades.
-Fue una de las damnificadas de la adquisición de Twitter por parte de Elon Musk ¿Qué aprendió allí?
-Fue una oportunidad increíble. Durante varios años fui directora de ingeniería de un equipo encargado de mejorar la transparencia de los datos. Teníamos dos líneas de investigación: una sobre los sesgos en los algoritmos en recortes de imágenes y otro sobre si estos amplificaban los contenidos de izquierda o derecha. Este último no pudimos completarlo porque nos echó Musk, pero la hipótesis que defiendo es que la gente interactúa más con contenido de centroderecha.
-Ha cambiado mucho Twitter y no solo de nombre, ¿no?
-Es realmente desafortunado que algo como Twitter, que era un lugar maravilloso de colaboración y compromiso, una especie de puertas abiertas, se haya convertido en el portavoz de una agenda muy particular de un individuo en particular. La pregunta es si sitios como Twitter, que funcionan como una plaza pública, deberían estar en manos de una empresa privada, creo que deberíamos considerar este tipo de tecnologías y su impacto en la sociedad y si queremos que las entidades corporativas con fines de lucro sean el núcleo de estas.
-Estamos en un momento del todo vale en X y en el mundo tecnológico…
Sí, y me preocupa que la tecnología que se desarrolle no sea particularmente buena. Cada iteración tecnológica nos ha alejado cada vez más de la verdad fundamental, de la fuente y me preocupa mucho que nos acerquemos a un mundo en el que todo lo que vemos está filtrado o creado por algoritmos, desde los contenidos que consumimos hasta las interacciones que tenemos. Esto no es nada nuevo, porque lo hemos visto con las redes sociales que nos recomiendan contenido sin darnos cuenta y una de las razones de la polarización actual es culpa de los algoritmos que nos dicen que nuestra visión del mundo es correcta.
-¿Es posible ponerle barreras?
-Tengo sentimientos encontrados. Cuando trabajaba en Twitter veía pros y contras, ahora no tanto. Estamos viendo jóvenes desarrollar relaciones parasociales con sistemas de IA y enamorándose de ellos y va a más. Hace unos días, Mark Zuckerberg dijo que quiere que la gente tenga amigos que sean IA. Esto me preocupa, porque está en juego el crecimiento, el desarrollo humano, la creatividad y el ingenio. Estamos hablando de crear una generación de niños incapaces de pensar de forma independiente sin un sistema de IA…
-En eso se está trabajando, solo que existen diferencias según la región…
-En 2023, pedí una regulación global. La IA es una tecnología sin fronteras: alguien puede estar en un país e influir en otro. Por eso, regular solo a nivel nacional no tiene sentido. Debemos proteger los derechos fundamentales, pero también respetar la soberanía de cada país en el uso de la IA. Además, el sesgo y la discriminación varían según el contexto, y comprender esas diferencias es clave. El primer paso es intentarlo. Organizaciones como la OCDE y la ONU ya están muy involucradas, y no me sorprendería que surgiera algún pacto. Nunca hemos tenido una regulación tecnológica global, y no sé si la IA será la primera, pero hay voluntad para lograrlo.
-La actual situación geopolítica no invita a ello…
-Sí, creo que con el clima geopolítico actual, es mucho menos probable que suceda.
-En varias de sus conferencias habla de «externalización moral» y cómo se manifiesta en el desarrollo y uso de tecnologías de IA, ¿qué quiere decir?
Consiste en entender dónde está la responsabilidad en el desarrollo de la IA. Introduje ese concepto en 2017 o 2018, y con la IA generativa es necesario replantearlo. Entonces trabajábamos con modelos mucho más simples; nada que ver con los actuales, que producen lenguaje. Pero el principio sigue siendo el mismo: si desarrollas la tecnología, eres responsable de sus resultados, por sofisticada que sea.
¿Y asumen la responsabilidad?
-Es algo que aún estamos negociando. Muchas empresas quieren entender cómo funciona su IA en el mundo real, pero es un problema complejo. Curiosamente, Lloyd's acaba de lanzar un seguro para incidentes relacionados con IA, lo que indica que la responsabilidad aún no está clara. Necesitamos esa claridad para tomar mejores decisiones.
-¿Cómo podemos garantizar que los sistemas de IA no perpetúen o amplifiquen los sesgos existentes en la sociedad?
Los datos son el punto de partida. Puedes invertir mucho en un modelo sin sesgos, pero también necesitas entender bien tu caso de uso. Es clave contar con un equipo diverso —no solo en género o raza, sino también en perfiles—: no basta con programadores, se necesitan expertos en ética, impacto social o propósito. Todos deben trabajar juntos desde el inicio. Y luego, algo igual de importante: probar y evaluar el modelo antes de lanzarlo, y seguir haciéndolo después.
-¿Y la gente hace eso?
-Bueno, el sector público está muy preocupado. El mes pasado, Pew Research realizó un estudio, donde compararon las percepciones de los expertos en IA con las del público. Y, en general, el público está muy preocupado por la IA: los sesgos, la pérdida de empleo y otros muchos riesgos.
-¿Cree que la gente es consciente de los riesgos de la IA y la privacidad?
-Una de las ventajas de esta revolución de la IA generativa es que pone un sistema de IA muy avanzado al alcance de todos. Antes, tenía que explicarles a las personas: «Esto es un sistema de IA. Así es como se usa en la vida. De qué es capaz». Y creo que era muy abstracto. Tenerlo en sus manos lo hizo más concreto. Así, pueden ver los problemas, lo sofisticado que puede ser y pueden pensar en todas las diferentes maneras de usarlo.
-Pero la gente lo ve como un juguete…
-He visto un aumento claro en la preocupación por la privacidad de los datos. Creo que empezó con la defensa de los derechos de autor: los libros de los autores, el trabajo de la gente en internet. Es similar a lo que ocurre con la biometría. Pero también hay personas muy entusiasmadas con esta tecnología. Algunos piensan que Sam Altman es un dios y quieren darle sus datos biométricos, y deberían poder hacerlo si así lo deciden. Pero todos deberían tener la opción de elegir con información clara: saber cómo se usarán sus datos y si tienen derecho a que se eliminen. Por ejemplo, si en seis meses no quiero que WorldCoin conserve mis datos, ¿puedo recuperarlos? ¿Cómo sé que se han borrado si ya no tienen información sobre mí? Hoy no existen esas protecciones. Europa, con el RGPD, está algo más avanzada.
-¿Cree que la obsesión por la innovación está dejando en segundo plano preguntas fundamentales sobre justicia, privacidad o derechos civiles?
-Sí, y es una situación lamentable. A menudo se presentan como opuestos: la innovación y la regulación no pueden existir o la innovación y los derechos civiles no pueden existir. En realidad, lo que estamos viendo, y volviendo a esa tendencia puramente investigadora, es que la gente se resiste mucho a la IA no porque les disguste la tecnología es porque quieren garantías sobre la privacidad de los datos y la protección de otros derechos humanos. Irónicamente, si tuviéramos esas protecciones, creo que la innovación avanzaría mucho más rápido porque la gente estaría más entusiasmada. La gente se equivoca, la regulación no perjudica la innovación es al revés porque ayuda a las empresas a mejorar la competencia en el mercado.
-Entonces huímos de la autorregulación que piden algunos en Silicon Valley…
La IA existe desde hace tiempo y ha trabajado sobre la autorregulación y lo único que vemos son usos descontrolados y cada vez peores.
-Vivimos en un mundo donde algunas decisiones empresariales se toman con base en nuestros datos, tienen información de nosotros hasta el extremo, para algunos, de vigilancia masiva, ¿cómo podemos protegernos?
-Es casi imposible sin regulación. Aceptamos acuerdos sin leer, cedemos nuestros datos y parte de nuestra autonomía solo por participar. El sistema es profundamente desequilibrado e injusto. Ahora mismo, hay muy poco que podamos hacer frente a los servicios que recopilan, venden y usan nuestra información. Y en países como Estados Unidos, todavía menos.
Comentar es una ventaja exclusiva para suscriptores
¿Ya eres suscriptor?
Inicia sesiónNecesitas ser suscriptor para poder votar.