Charla el 21 de noviembre de 2025 en uno de los encuentros organizados por Science Queers.
Transcripción
(La transcripción de la charla no se entiende mucho sin las slides, pero la entrego aquí como referencia.)
Introducción
Soy Chato. Nací en el año 1977. Fui socializado como hombre. Recién se habló de interseccionalidad, yo también tengo mis intersecciones que incluyen el hecho de ser una persona neurotípica de un país de medios ingresos, ser una persona morena, ser una persona migrada, ser una persona que trabajó en industria en buenísimos trabajos, bien pagados, ser una p*ta poliamorosa pansexual, ser tenured y ser nobinarie.
Y son bastantes intersecciones. Y quiero decir que… el día que me dieron la ICREA, que es una plaza que entrega el gobierno catalán, que son bastante codiciadas, el lunes siguiente llegué con falda al trabajo. De alguna manera mi expresión de género estaba sujeta a lo que yo veía como posibles complicaciones de mi proceso de obtener esa posición. Y cuando se lo he dicho esto a mis compañeros, normalmente me dicen: «No era necesario que esperases hasta tener la ICREA para vestirte así». Y yo pienso, ¿quién sabe?
Yo obtuve mi doctorado hace 21 años y mi vida está de alguna manera alterada por mi investigación y mi investigación también cambia mi vida. Por ejemplo, estuve un montón de tiempo trabajando en gestión de emergencia y trabajaba con gente de la OCHA, la Oficina de Coordinación de Asuntos Humanitarios de Naciones Unidas, con gente de la Cruz Roja, etc. Y desde que trabajo con ellos no puedo entrar en un lugar sin ver las salidas de emergencia, por ejemplo, ver que aquí hay una salida de emergencia a vuestra derecha, pero que eso no es una salida de emergencia. Y desde que trabajo en eso, no puedo estar en un lugar público sin fijarme en las salidas de una exerencia. Cuando voy a un antro de esos asquerosos que baja una escalera y por esa escalera sale toda la gente, yo entro y empiezo a pensar «aquí no hay salidas de emergencia, aquí el aforo está superado» y no puedo. Lo único que te queda en esas circunstancias es tratar de perder la conciencia un poco más rápido para poder disfrutar la fiesta.
Y de otra forma que me ha alterado mi persona y que mi persona ha cambiado investigación, yo empecé a trabajar en discriminación algorítmica cuando tomé la dirección de un grupo de investigación el 2016 donde había una persona, una chica iraní que se había recién doctorado y su doctorado había sido sobre discriminación algorítmica, del cual yo no tenía ni idea y me pareció tan interesante su tema que terminé trabajando en eso. De discriminación algorítmica, lo que me ha enseñado, entre otras cosas, aparte de ponerme a estudiar temas de género, y como todas las personas que estudian cosas de género, terminas viendo que todo tiene que ver con género. Ya no se puede hablar conmigo de otras cosas.
También viví en Qatar un tiempo y ahí también hay una segregación de género bien interesante porque la gente ahí sigue pensando que es buena idea que la gente esté separada pero sea igual. ¿Habéis escuchado esa expresión? Separados pero iguales. Se aplicaba en los años 60 en Estados Unidos para mantener la segregación entre negros y blancos. Ellos decían, los blancos, «nosotros no queremos que los blancos y los negros estén en la misma escuela, habrá escuelas separadas para los negros, pero van a ser iguales, separadas, pero iguales». Y yo estoy completamente convencide de que no. Una vez que separas a las personas ya no pueden ser iguales. Y yo no creo que en temas de género podamos estar separadas y ser iguales.
Investigación
Pero yo vine a hablar de investigación, lo siento. Voy a hablar sobre un sesgo algorítmico, que es la investigación que he llevado los últimos 9-10 años con un par de equipos de trabajo, uno en Eurecat y uno en en la Pompeu, donde estoy ahora. Y nuestra investigación se centra principalmente en aplicaciones de alto riesgo de la inteligencia artificial. Esa no es una nomenclatura como antojadiza, es una categoría legal. La regulación sobre inteligencia artificial introducida en abril del 2024 determina que en la Unión Europea hay una serie de aplicaciones de la IA que están sujetas a un estándar mayor de protección. Esas incluyen cuando la IA se usa para cosas de infraestructura crítica, cosas relacionadas con el trabajo, por ejemplo, con el empleo, la selección de personas para admisión en la universidad o en una institución de educación superior, servicios esenciales, servicios públicos y servicios privados esenciales, etc. Y yo he estudiado tres de estas aplicaciones.
La gente que trabaja con modelos de aprendizaje automático reconocerá AUC, es una medida de precisión que va entre 0 y 1. Yo he hecho auditorías de tres modelos de IA, entre otros, o sea, al menos tres modelos. Uno fue un modelo para predecir si una persona se iba a quedar sin techo, que tiene una AUC de 0,9. Entre 0 y 1; 0,9 es bastante bueno. Un modelo que se pretendía introducir para determinar si un menor, niño, niña, niñe, iba a ser maltratado por su familia, con una AUC de 0,8. Y un modelo que se usa aquí en Cataluña, de los pocos lugares del mundo donde se usa un modelo de predicción de la reincidencia criminal.
Similar a COMPAS, quizás habéis oído de este caso. COMPAS es un sistema que se usa en EUA para determinar la probabilidad, el riesgo de una persona de cometer un nuevo delito, que se llama riesgo de reincidencia. Y lo que estudió Julia Angwin y colaboradores, y publicaron más o menos el 2016, que es la misma fecha en que me empecé a interesar en el tema yo y un montón de otros investigadores, principalmente atraídes por este caso, que es como una herramienta de IA para determinar el riesgo de reincidencia comete más errores, tiene más falsos positivos en este caso, para personas negras que para personas blancas. Eso no es un asunto de… Eso indica, entre otras cosas, que esto son terrenos en que los datos están contaminados por una serie de exclusiones, porque terminar en la cárcel requiere pasar por una serie de exclusiones de distintos tipos.
Para mí uno de los mayores riesgos de la IA es lo que Virginia Eubanks llama la automatización de la inequidad. Ella estudia en su libro una serie de algoritmos que se usan para realizar diversas tareas predictivas. Eso incluye algoritmos, por ejemplo, para determinar si alguien está abusando de la prestación del paro o si alguien está abusando de alguna prestación social en general. Pero esos algoritmos normalmente no se introducen con el propósito de tener más justicia, sino que normalmente se introducen con el objetivo de ahorrar costos. A la persona que diseñe esos algoritmos, que es una persona como yo, una persona experta en ciencia de datos, por ejemplo, muchos de vosotros también podríais trabajar en la misma área, que seguramente más de alguna hace cosas de aprendizaje automático ; lo que se le dice no es «encuentra gente que tenga un 95 % de probabilidad de estar abusando del paro». Lo que se le dice es «encuéntrame 5000 personas», porque yo voy a perseguir a esas 5000 personas, tratar que me demuestren que realmente se merecen la prestación de paro o que cumplen los requisitos para esta prestación y algunas de esas personas no van a ser capaces de volver a demostrar que merecen recibir la prestación o se van a equivocar en algún punto del proceso, o ya no van a tener los documentos, o se van a perder la notificación y les voy a poder quitar la prestación y así ahorrar dinero y pagarte a ti por tu modelo de aprendizaje automático.
Eso es lo que Rumman Chowdhury, que fue la jefa de ética. No sé si sabéis que Twitter contrató… Twitter, Facebook y otras empresas han creado departamentos de ética, contratado gente superinteresante y el día que esa gente empieza a trabajar cierran el departamento de ética. Eso lo le pasó a Rumman, le pasó a Timnit y a otras investigadoras. Ellos lo llaman ‘externalización moral’. Tienes una decisión difícil y dices «voy a introducir un algoritmo para asistirme en esta decisión difícil y si todo sale mal, la culpa la tiene el algoritmo, no yo». Es como sacar las castañas con la mano del gato, no sé si lo llamáis así eso.
Ahora, lo interesante para nosotres es que estos algoritmos normalmente son introducidos en lo que Virginia Eubank llama espacios bajos en derechos. No es que sean espacios bajos en derechos, sino que son circunstancias en las cuales el ejercicio de tus derechos se ve limitado por alguna cosa. Por ejemplo, cuando cruzas una frontera estás en un espacio limitado en derechos. ¿Se entiende? No es que tengas menos derechos, pero el ejercicio de tus derechos está limitado porque estás cruzando una frontera y quizá no conoces los derechos del país al que llegas, estás nerviose, ellos tienen un montón de derechos sobre ti, que no estás acostumbrado a que tengan otras personas, como el derecho de inspeccionar tus cosas, etc. Y otro lugar es la cárcel y cuando pides una prestación social. Tres ejemplos de situaciones que Virginia Eubanks llama bajas en derechos. Y el caso es que estos algoritmos se prueban primero en áreas bajas en derechos y luego se introducen en el resto de la sociedad. Esa es la idea. Ese es el riesgo.
Investigación en herramientas de apoyo a la decisión
Nosotros estudiamos es que si tú cuando a un experto, una experta, une experte, a una persona le entregas una herramienta de apoyo a la decisión que le permita ver, por ejemplo, cuando recibe un caso, si esta denuncia terminará en maltrato infantil, si esta denuncia de violencia de género terminará en un feminicidio, si le damos la libertad condicional a esta persona si cometerá un nuevo delito. Cuando tú le das a una persona experta una herramienta de apoyo a la decisión, lo que queremos no es que esa persona confíe en la herramienta, sino que la persona siga confiando en sí misma. Y esa persona tiene que navegar una delicada línea entre confiar demasiado en esta herramienta de apoyo a la decisión que le dice «esta es una persona de alto riesgo» o «este niño va a terminar maltratado», entre confiarse demasiado y confiar muy poco también, porque algunas de estas herramientas, y os voy a mostrar un caso, son bastante buenas.
Y son buenas al nivel de una persona experta. Y si es tu primer día en el trabajo y te dan una herramienta de predicción de riesgo, es una buena idea escuchar lo que la herramienta te está diciendo, porque esa herramienta se ha alimentado de decenas de miles de casos y ha visto algunos casos similares al que tienes enfrente como tú no lo has visto. Pero al mismo tiempo tú y tu cerebro y tu capacidad de procesar información y los rasgos que tú puedes observar y la máquina no puede, también deberían complementar eso. Es una línea muy delgada. Hemos hecho investigación en cuatro áreas. Hemos hecho juegos, por ejemplo. Hemos hecho juegos donde hacemos que la gente busque petróleo en un mapa y les decimos «deberías hacer clic aquí, una IA dice que es el mejor lugar». Y lo que hacemos es darles buena ayuda, o sea, un buen consejo, un consejo mediocre y un mal consejo.
Y lo que vemos es que la gente, cuando tú le das malos, cuando la IA les da malos consejos, la gente no los sigue. Pero cuando al final les preguntamos si les pareció buena o no la asistencia, dicen que es buena también. Dicen que no es tan buena como un sistema que realmente predice cosas, pero aun así no es tan mala. O sea, a un nivel inconsciente se dan cuenta de que el apoyo a la decisión es malo, pero a un nivel consciente no. Por eso se puede vender cualquier cosa si dices que tiene IA, la gente se lo cree. Hemos estudiado el reconocimiento de caras, que es algo que nuestro cerebro hace bastante bien. Nosotros le decimos a la gente «estas personas son la misma en distintos momentos, con distinta luminosidad, distinto corte de pelo, distinta época de su vida o distinta orientación de la cara». Luego les mentimos. Les decimos «no, una IA dice que no son la misma persona». Yo estoy viendo que son la misma persona, nosotros les decimos que no.
Y cuando es evidente que son la misma persona, la gente no se deja engañar por la IA. Pero cuando no es tan evidente, es fácil llevar a una persona a error. O sea, si un sistema de apoyo a la decisión falla, puede fallar de manera catastrófica. Aún cuando tú estés viendo que estas fotos son la misma persona, si una IA te dice que no lo son, puede hacerte cambiar de opinión en la dirección equivocada. Trabajamos con reincidencia criminal, trabajamos con simulaciones de contratación algorítmica, etc. Os resumo un poco los hallazgos que hemos hecho. Primero es que normalmente las IA tienden a imitar y a exagerar los sesgos humanos. Si hay sesgo de género, la IA tendrá más sesgos de género. En segundo lugar, hay unas… incertidumbres irreducibles. Tú no puedes saber a ciencia cierta si alguien va a cometer un delito en 5 años más. No puedes saber seguro que una violencia de género va a terminar en feminicidio o no. No puedes saberlo. Nadie puede saberlo. Lo que sí puedes hacer es una inferencia informada sobre ello.
Y las máquinas pueden hacerlo más o menos al mismo nivel que un grupo de expertos, pero no más que eso, no más allá, y eso plantea un dilema moral. ¿Deberíamos usarlas o no? Yo todavía no tengo una decisión. Segundo, que la gente no se da cuenta de los errores de máquina, excepto en casos triviales. Yo creo que la gente, otra cosa que pasa aquí es cuando tenemos personas superocupadas tratando de tomar decisiones rápidamente, esta persona cumple los requisitos o no, etc. y los ponemos a trabajar a saco tienden a sobreconfiar en máquinas. Y especialmente en los departamentos de recursos humanos, porque en todas las empresas grandes los departamentos de recursos humanos usan sistemas de aprendizaje automático. La próxima vez que postules a un trabajo y probablemente la vez anterior también tu CV no será visto por una persona primero, sino por una máquina. Es innegable, la gente recibe rechazos a las 6 de la mañana un lunes, eso no lo vio una persona de RR.HH. tomando demasiado café, eso lo vio una máquina.
Y las burocracias, tanto las públicas como las privadas, tienden a sobreconfiar en las máquinas y quieren creer. Eso es interesante. Quieren creer. Porque si no creen, tienen que trabajar más, entonces quieren creer.
Investigación en reincidencia
Nosotros hemos estudiado, y con un par de diapositivas termino, nosotros hemos estudiado la reincidencia criminal en Cataluña. Es quizá el caso que más hemos estudiado, el que ha tenido más prensa. Lo que hemos visto es que la herramienta que se usa acá realmente mejora de alguna manera la capacidad predictiva de la gente. Entonces, voy a hacer una pequeña pregunta para vosotros. Si una persona sale hoy de una prisión catalana, ¿cuál creéis que es la probabilidad de que vuelva a entrar en prisión en los en los próximos 5 años?. Y la realidad de las cárceles catalanas es 30 %. Esto es universal.
En general, como vemos un montón de series gringas, nuestra experiencia de la prisión, excepto que alguien haya estado en prisión aquí, puede ser que sí mirando las caras. Nuestra experiencia está modulada por el cine y por eso tendemos a creer. ¿Y qué pasa con el RisCanvi? ¿Qué pasa con este sistema?. Este sistema lo que hace… El sistema sabe, obviamente sabe, que a priori la probabilidad de que una persona vuelva a la cárcel es del 30 %. El sistema lo sabe y por lo tanto sus predicciones son arriba. No lo sabe. ¿Se me entiende? No es que lo sepa, sino que su predicción base es 30 %. Si tú le das un caso y no le das ningún dato, te dirá 30 %. Y está haciendo lo que debe hacer.
Tiene un estimador no sesgado, tiene que decirte 30 % y un poco arriba, un poco abajo, pero las personas no dicen 30 %; las personas dicen 80 %, 70 %, 40 %. Lo que hace este sistema es que conforme va aumentando la tarea, va la persona utilizando la herramienta, se da cuenta de que sus estimaciones son muy altas y empieza a bajar sus estimaciones a cosas más reales. La herramienta lo que hace es ayudarle a la persona a darse cuenta de que las prisiones catalanas no son las prisiones gringas y que la gente no tiene la misma probabilidad de reincidir. Es una herramienta que ayuda, que es más de alguna manera pro-reo. Ahí es donde me viene el dilema moral, porque yo digo esta es una decisión que debe ser tomada eminentemente humana, pero la decisión humana es asignarle a la persona demasiado riesgo.
¿Qué hago? ¿Qué se puede hacer? Obviamente esto es un experimento, cuando en la realidad las cosas están moduladas por otras cosas. Quiero decir que a veces estos sistemas son buenos y tienen algunas consecuencias que son positivas, pero a la vez introducen otros riesgos, en particular el riesgo de perder agencia, de estar sujeta de alguna manera a una máquina que no tiene rostro y que no te permite desafiar una decisión que consideras errada. Eso es todo y quiero agradecer a toda la gente que trabaja conmigo. Muchas gracias.
