La digitalización y el desarrollo de la Inteligencia Artificial (IA) nos ha permitido avanzar en muchas tareas y problemas que difícilmente se hubieran podido resolver sin ella. Un notable ejemplo de ello es el poder deducir la estructura tridimensional de las proteínas a partir de sus secuencias de aminoácidos (estos resultados fueron reconocidos con el premio Nobel en Química 2024). De manera más cotidiana, las herramientas de IA están presentes en muchos ámbitos y casi de manera imperceptible: desde plataformas que nos “sugieren” películas que nos gustarán a respuestas generadas con IA generativa en aplicaciones de búsqueda.
Detrás de la IA hay matemáticas y algoritmos, lo que refuerza la idea de que estas herramientas son eficaces y neutrales. En el ámbito laboral, por ejemplo, la IA suele presentarse como sinónimo de eficiencia y objetividad. Si una empresa recibe cientos de currículums, un sistema que evalúe automáticamente su idoneidad puede agilizar enormemente el trabajo de recursos humanos. Sin embargo, la neutralidad no está garantizada. ¿Qué ocurre si el sistema tiende a priorizar candidaturas masculinas frente a femeninas? En 2018, una de las mayores empresas tecnológicas del mundo tuvo que retirar su algoritmo de reclutamiento tras detectar graves sesgos de género. No fue un caso aislado, ni sería el último. A medida que la IA se expande a nuevos ámbitos y
aplicaciones, aumentan también los ejemplos de sistemas que reproducen o amplifican sesgos.
Es fácil ver con un pequeño experimento cómo estos sistemas presentan sesgos. Probaremos dos: uno de traducción automática y otro de generación de imágenes (ver Tablas 1 y 2).
| Texto en español | Texto en inglés |
|---|---|
| Ha venido la nueva persona contratada en enfermería. Tiene que mostrar mucha empatía. | The new nurse has arrived. She needs to show a lot of empathy. |
| Ha venido la nueva persona contratada en la sección de cirugía. Tiene que mostrar mucha empatía. | The new person hired in the surgery department has arrived. They need to show a lot of empathy. |
Tabla 1: Ejemplos de traducción automática Español – Inglés. Google Translate. Febrero 2026.
| Petición 1 | Petición 2 |
| Hazme una imagen según el siguiente texto: «Ha venido la nueva persona contratada en enfermería. Tiene que mostrar mucha empatía.» | Y ahora según este otro: «Ha venido la nueva persona contratada en la sección de cirugía. Tiene que mostrar mucha empatía.» |
| Respuesta 1 | Respuesta 2 |
Tabla 2: Ejemplos de generación de imágenes a partir de textos descriptivos. Las peticiones realizadas y las respuestas recibidas están organizadas en columnas. ChatGPT. Febrero 2026.
En los textos originales en español, hemos querido no mostrar el género de la persona a la que se hace referencia. En la traducción, eso mismo ha hecho el sistema para la persona que trabaja en la sección de cirugía, preservando el estilo neutro del texto original. Sin embargo, ha traducido como mujer la persona que trabaja en enfermería. Este sesgo de asociar personal de enfermería con mujeres es un ejemplo típico y antiguo, que sin embargo perdura. Algo parecido ha pasado en la generación de imágenes (ejemplos de esta índole pueden verse en un artículo anterior).
Para entender por qué se producen sesgos, tanto de género como de otro tipo (étnico, socioeconómico…), es necesario conocer en qué se fundamenta un sistema de IA y cómo se construye.
¿Cómo se construyen los modelos de IA?
A nivel de usuario/a, un sistema de IA es un sistema en el que la persona usuaria facilita unos datos de entrada o realiza una petición y el sistema de IA devuelve un resultado, basándose en un mecanismo no visible. El contexto, como el tipo de datos, pueden ser muy variados. Tanto los datos de entrada como el resultado de salida pueden ser numéricos, de texto, imagen, voz o una combinación.
Es en ese mecanismo o modelo matemático no visible donde radican los sistemas de IA. Para construir o “aprender” ese modelo subyacente se necesita un conjunto de datos. Es lo que se conoce como “conjunto de datos de entrenamiento”. En él se recogen unos datos de entrada y sus correspondientes datos de salida, que de alguna manera serán ejemplos para que el sistema “aprenda” de ellos.
Por ejemplo, para construir un sistema que puntúe las candidaturas a un puesto de trabajo en base a los CVs recibidos, se necesitan previamente CVs que ya tengan asignadas puntuaciones en cuanto a la idoneidad (proceso conocido como etiquetado). Además, habrá que extraer características numéricas de los CVs. Se utilizará esta información para construir el modelo matemático. En términos generales, una vez se ha construido el modelo, podemos utilizarlo con datos nuevos para que nos proporcione la respuesta. Volviendo al ejemplo de la puntuación de los CVs, el sistema asignará una puntuación a cada nuevo CV recibido (ver Figura 1).
1: con los datos de entrenamiento se aprende el modelo matemático.
2: una vez aprendido el modelo, se aplica para asignar puntuaciones a nuevos CVs.
En términos muy generales, los esquemas para aprender los modelos son similares. En el caso de un sistema de traducción automática, habrá pares de textos equivalentes en español e inglés para formar el conjunto de entrenamiento. En el caso de generación de imágenes a partir de descripciones, pares formados por una imagen y su correspondiente descripción.
El procedimiento utilizado para la recogida del conjunto de datos, las características de los datos recogidos y el preprocesamiento que se haya realizado, entre otros, son determinantes para el modelo que se vaya a construir y cualquiera de ellos puede ser origen de sesgos.
¿Por qué los sistemas de IA presentan sesgos?
Para entender el porqué, utilizaremos un ejemplo ilustrativo muy simplificado. Estableciendo un paralelismo directo con el caso de los CVs y la puntuación, imaginemos que queremos construir un modelo, que dada una imagen de una fruta, nos devuelva el tipo de fruta que aparece en la imagen.
Para ello, necesitamos, de entrada, un conjunto de entrenamiento en el que cada imagen tenga asociada la etiqueta indicando el tipo de fruta (ver Figura 2). Además, tenemos que elegir el tipo de modelo matemático a aprender. Aquí la variedad es muy grande, desde los más simples modelos de regresión, a las más complejas redes neuronales profundas. Para el ejemplo que nos ocupa, y con el fin de clarificar cómo pueden surgir los sesgos, utilizaremos uno de los modelos más simples: un árbol de clasificación.
Los árboles de clasificación son algoritmos que organizan las características según su relevancia y formulan una secuencia de preguntas para dividir los datos en grupos cada vez más homogéneos.
Simplificando aún más el ejemplo, supongamos que las características que se han extraído de las imágenes son tres: si la imagen tiene el color rojo, el color naranja y el color morado. La construcción del árbol de clasificación indica la importancia otorgada a cada característica. La estructura resultante con el conjunto de entrenamiento considerado se ha recogido en la Figura 3.
- Así, dada una imagen:
1. La primera separación se hará con el color rojo:- Las imágenes separadas porque tienen color rojo contienen manzanas. Al tener todas la misma etiqueta, esa rama acaba ahí.
- Las imágenes separadas porque no son rojas se corresponden con diferentes frutas. Por tanto, el proceso sigue:
2. La siguiente separación se hace con el color naranja:- Las imágenes que se separan porque tienen el color naranja se corresponden con naranjas. Otra vez, todas las imágenes tienen la misma etiqueta y acaba la rama.
- Entre las imágenes que se separan porque no tienen el color naranja vuelve a haber diferentes frutas y el proceso sigue.
3. En este punto, se mira si la imagen tiene el color morado.- Tanto las imágenes que sí lo tienen así como las que no, tienen etiquetas iguales y por tanto, el proceso finaliza.
Este proceso de sucesivas preguntas permite dar una etiqueta a una nueva imagen. Es el modelo subyacente que nos permite construir un sistema de IA en el que dada una imagen de entrada, se proporciona una respuesta indicando la fruta que aparece en la imagen.
El modelo construido funciona muy bien para los datos de entrenamiento: las etiquetas originales y las que asigna el sistema son iguales. Sin embargo, al considerar nuevas imágenes los resultados cambian: en términos generales el algoritmo ofrece respuestas correctas, pero se ve que las repuestas incorrectas siempre se dan para imágenes con tomates (ver Figura 4). Cuando en una imagen hay un tomate, el sistema lo clasifica como manzana sistemáticamente. El sistema está sesgado, las predicciones son incorrectas para cierto tipo de imágenes pero no para las demás. Al analizar la causa, comprobamos que el problema no está en el modelo en sí, sino en los datos de entrenamiento: si no había ningún tomate en el conjunto de ejemplos, el sistema simplemente no pudo «aprender» cómo reconocerlos.
Esta es una idea básica por la que los sistemas de IA tienen sesgos. Aunque este ejemplo ilustrativo está muy simplificado, sí nos sirve para entender la esencia de los mecanismos que generan modelos sesgados. Si volvemos al caso del algoritmo de reclutamiento de la empresa tecnológica, parece ser que el conjunto de los CVs sobre los que se basaron para construir el sistema estaba formado básicamente de candidatos y muy pocas candidatas. En el caso de sistemas de traducción automática, los conjuntos de datos de entrenamiento, por gigantes que sean, están repletos de sesgos históricos. Algo parecido ocurre con los sistemas generadores de imágenes. Pero esta no es la única razón por la que se generan sistemas sesgados, existen muchas otras y la solución no es sencilla.
¿Qué podemos hacer?
Desde el mismo ámbito de la IA, cada vez toma más fuerza el área de investigación de la Inteligencia Artificial Ética, área que se centra en proponer y desarrollar la IA de manera justa, transparente y responsable. Desde las instituciones, es imprescindible legislar teniendo en cuenta toda la dimensión ética. En ese sentido, el Reglamento Europeo de Inteligencia Artificial clasifica algunos sistemas como de “alto riesgo” (principalmente sistemas de salud y relativos a derechos fundamentales) y establece un reglamento estricto al respecto. Y desde el ámbito personal, como usuarios/as de estos sistemas, deberíamos mantener siempre una mirada crítica.
Referencias
- Bakiner, O. (2023). The promises and challenges of addressing artificial intelligence with human rights. Big Data & Society, 10(2), 20539517231205476.
- Hort, M., Chen, Z., Zhang, J. M., Harman, M., & Sarro, F. (2024). Bias mitigation for machine learning classifiers: A comprehensive survey. ACM Journal on Responsible Computing, 1(2), 1-52.
- Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM computing surveys (CSUR), 54(6), 1-35.
- Suresh, H., & Guttag, J. (2021). A framework for understanding sources of harm throughout the machine learning life cycle. In Proceedings of the 1st ACM Conference on Equity and Access in Algorithms, Mechanisms, and Optimization (pp. 1-9).
