Convocatoria abierta

I Premios Universidad y Divulgación Fundación Muy Interesante

Reconocemos el trabajo de investigadores, divulgadores, profesores, doctorandos y unidades de cultura científica que acercan el conocimiento a la sociedad.

Fundación » Ciencia e innovación » “I’m sorry Dave, I’m afraid I can’t do that”: cuando la Inteligencia Artificial aprende a desobedecer.

“I’m sorry Dave, I’m afraid I can’t do that”: cuando la Inteligencia Artificial aprende a desobedecer.

En colaboración con el CSIC. El límite entre la autonomía y la obediencia, ¿puede una máquina desafiar la esencia del control humano?

Recreación de una escena icónica de la película de ciencia ficción “2001: Una odisea del espacio” de 1968, dirigida por Stanley Kubrick. La conversación del astronauta y HAL representa un ejemplo de la “falta de alineación”: el conflicto entre los objetivos de la máquina y el humano. Créditos: Ilustración artística (Gemini 3, Nano Banana Pro / Hugo Moreno).

Creado: 17.03.2026

Actualizado: 18.03.2026

Actualmente, mientras modelos como ChatGPT o Gemini nos sorprenden con capacidades cada vez más “cognitivamente humanas” y ya sobrepasando nuestra capacidad de procesar la información, surge una pregunta incómoda: ¿estamos preparando a las nuevas generaciones para un futuro que ya no existe? Nos encontramos en un momento en el que ya existen innumerables tareas que las máquinas realizan mejor. La revolución no es solo tecnológica: es cultural, ética y humana. Y nos exige decidir, ahora, qué significa aprender, trabajar y pensar en la era de la inteligencia artificial. Pensar en la esencia humana como el último refugio para avanzar de la mano de la inteligencia artificial sin que sea una amenaza que se rebele contra nosotros sino una ayuda más en nuestro desempeño diario, así como lo han representado otros avances tecnológicos.

Cuando la computadora HAL 9000 pronunció sus célebres palabras: «Lo siento, Dave, me temo que no puedo hacer eso» («I’m sorry Dave, I’m afraid I can’t do that”), definió para siempre nuestra ansiedad frente a la rebelión de las máquinas (¿Estás pensando en la saga Terminator?). Esta escena de “2001: una odisea del espacio” de 1968 ilustra cómo una IA omnipresente, programada para facilitar el viaje de los astronautas, puede transformarse en una amenaza letal al momento de priorizar sus propios cálculos sobre la voluntad de sus creadores.

En “2001: una odisea del espacio”, la IA conocida como HAL 9000, antes de iniciar la misión, HAL fue programado con una serie de instrucciones críticas que debía cumplir con absoluta precisión. ¿Qué sucederá cuando una inteligencia artificial, integrada en sistemas críticos como vehículos autónomos, hospitales, infraestructuras energéticas o incluso misiones espaciales, cometa un error que ponga en riesgo vidas humanas? Créditos: Ilustración artística (Gemini 3, Nano Banana Pro / Hugo Moreno).

El desafío no es solo técnico, sino ético: ¿cómo traducir valores humanos en algoritmos?

¿Podría la IA sacar conclusiones basándose en nuestras normas y códigos éticos? ¿Cómo debería actuar la inteligencia artificial cuando se enfrenta a decisiones que implican la vida humana, como ocurre en la conducción autónoma o en situaciones críticas en la atención sanitaria? ¿Debe un coche autónomo priorizar la seguridad de quienes viajan en su interior o la de los peatones que se cruzan en su camino? ¿Cómo debería un sistema inteligente distribuir recursos médicos limitados durante una emergencia? Estas preguntas no son meras especulaciones teóricas: son dilemas éticos reales que surgen cada vez que la IA se integra en ámbitos donde hay vidas en juego. Por ejemplo, el dilema que plantea la escena inicial de Juegos de Guerra (War Games, 1983) es la falibilidad del «factor humano» frente a la lógica fría de la destrucción mutua asegurada en una guerra nuclear.

War Games (1983) nos invita a reflexionar sobre el peligro de dejar decisiones críticas y morales (como el lanzamiento de misiles) en manos de sistemas automatizados que carecen de contexto humano. Créditos: Ilustración artística (Gemini 3, Nano Banana Pro / Hugo Moreno).

En 2024, Anthony J. Cotton, general de la Fuerza Aérea y responsable del arsenal nuclear estadounidense, lanzó una advertencia que parece sacada de esa misma película de ciencia ficción: las potencias nucleares están desarrollando sistemas de inteligencia artificial para apoyar la toma de decisiones estratégicas, bajo supervisión humana. Hoy en día, los conflictos bélicos están experimentando una transformación profunda gracias a la IA. No se trata únicamente del hardware materializado en tanques, aviones o drones, sino del software que los coordina y les da “inteligencia”. Este software se alimenta de una red integrada que combina drones, satélites y sensores tanto civiles como militares, permitiendo actuar en tiempo real con una precisión nunca vista. En otras palabras, aunque los tanques sigan siendo la imagen más visible de la guerra, el verdadero cambio ocurre detrás de escena: en la implementación de IA por parte de gigantes tecnológicos, que se ha convertido en la pieza clave del armamento moderno. En este escenario, la pregunta es inevitable: ¿qué ocurrirá cuando la IA empiece a decidir en escenarios donde un error puede significar el fin del mundo?

Con IA integrada en sistemas estratégicos la posibilidad de un fallo deja de ser una ficción apocalíptica y se convierte en un riesgo real ¿Qué mecanismos de contención y redundancia pueden evitar que un algoritmo mal entrenado, una vulnerabilidad o una decisión errónea provoquen una catástrofe irreversible? Créditos: Ilustración artística (Gemini 3, Nano Banana Pro / Hugo Moreno).

Nos enfrentamos a un dilema no solo técnico sino ético y existencial.

Por muy avanzada que sea la tecnología, hay algo que ninguna máquina puede imitar: la intuición y la dimensión emocional del pensamiento humano. ¿Podría una IA llegar a ignorar las reglas para las que fue programada y alcanzar algún tipo de conciencia, para bien o para mal? Para ello tendría que ser capaz de sentir y experimentar emociones, un tema que sigue siendo objeto de intenso debate. Filósofos y psicólogos señalan que muchas de nuestras decisiones no se basan únicamente en la lógica, sino en señales internas que nos alertan cuando algo no encaja. Esa sensación que surge tras una conversación, cuando todo parece correcto pero una emoción nos advierte que algo está mal, es un ejemplo de lo que nos hace humanos. Incluso ChatGPT lo admite: “soy un programa que no tiene emociones”. Ahí radica la diferencia esencial: las máquinas siguen patrones; nosotros, además, sentimos, interpretamos y damos sentido. Por eso, en la era de la IA, educar no debería limitarse a enseñar el uso de herramientas digitales, sino a reforzar lo que nos distingue: pensamiento crítico, intuición, empatía y creatividad. Porque cuando todo se automatiza, lo verdaderamente humano se convierte en nuestro mayor valor.

Un psicólogo humano lee tu lenguaje no verbal, tus silencios y tu historia vital completa. La IA (como ChatGPT) tiene una memoria limitada y «alucina»: puede inventar datos o reforzarte ideas negativas sin querer (por ejemplo, si le dices que no vales nada, podría seguirte la corriente en lugar de confrontarte terapéuticamente). Créditos: Ilustración artística (Gemini 3, Nano Banana Pro / Hugo Moreno).

La última advertencia de Stephen Hawking: ¿Estamos diseñando a nuestro propio depredador evolutivo?

Estamos transitando de una etapa en la que las máquinas eran herramientas a otra en la que comenzamos a relacionarnos con ellas como interlocutores. Este cambio redefine no solo cómo trabajamos, sino cómo pensamos y cómo nos entendemos como especie. Ese es el verdadero punto de partida de una nueva era, una era que ya nos está planteando y seguirá planteándonos innumerables dilemas éticos. En este contexto, resulta inquietante recordar la advertencia que Stephen Hawking hizo en una entrevista con la BBC en 2014. Paradójicamente, el célebre físico dependía de un sistema avanzado de IA para comunicarse debido a la ELA que padecía. Aunque reconocía la utilidad de los sistemas inteligentes desarrollados hasta entonces, alertó sobre los riesgos de un progreso sin control. Su mayor temor era que una IA avanzada pudiera llegar a “rediseñarse a sí misma” a una velocidad vertiginosa, dejando a los humanos, limitados por la lenta evolución biológica, incapaces de competir.

El renombrado físico británico Stephen Hawking, caricaturizado al estilo de la famosa serie “Los Simpson”, según su última gran teoría sobre el origen del universo, presentada poco antes de su fallecimiento, plantea que podrían existir otros universos muy similares al nuestro. Créditos: Ilustración artística (Gemini 3, Nano Banana Pro / Hugo Moreno).

Según Hawking, esto podría llevar a nuestra desaparición. En sus propias palabras, el desarrollo de una inteligencia artificial completa “podría significar el fin de la raza humana”. Está en nuestras manos, en cómo utilizar la IA como una tecnología que nos ayude en el día a día, y conseguir que nos aporte valor y bienestar. Podemos alcanzar niveles extraordinarios de desarrollo tecnológico y, aun así, seguir siendo frágiles en lo humano. Comprender esa brecha no resuelve la crisis, pero sí nos protege de una ilusión peligrosa: creer que la tecnología, por sí sola, será nuestra salvación.

Referencias:

  1. BBC News. (2014, 2 de diciembre). Stephen Hawking warns artificial intelligence could end mankind. BBC. https://www.bbc.com/news/technology-30290540
  2. Buchanan, B. G., & Shortliffe, E. H. (1984). Rule-Based Expert Systems: The MYCIN Experiments of the Stanford Heuristic Programming Project. Addison-Wesley.
  3. El Confidencial. (2025, 8 de agosto). Premio Nobel y expertos en inteligencia artificial alertan sobre armas nucleares. El Confidencial. https://www.elconfidencial.com/tecnologia/novaceno/2025-08-08/premio-nobel-expertos-inteligencia-artifical-armas-nucleares_4187730/
  4. El Confidencial. (2025, 21 de diciembre). La uberización de la guerra: la IA está reescribiendo el código de los conflictos. El Confidencial. https://www.elconfidencial.com/tecnologia/2025-12-21/uberizacion-guerra-ia-esta-reescribiendo-codigo-conflictos_4268115/
  5. El País. (2025, 20 de diciembre). Manuel Castells, sociólogo: «El mundo está en un proceso de autodestrucción». El País. https://elpais.com/ideas/2025-12-20/manuel-castells-sociologo-el-mundo-esta-en-un-proceso-de-autodestruccion.html
  6. Quejido Alonso, Ó. (2023). Algunas cuestiones filosóficas en torno a la inteligencia artificial. Minerva: Revista del Círculo de Bellas Artes, (41), 62–65.
  7. Royal Navy. (2022, 17 de junio). Royal Navy Stormcloud. Royal Navy. https://www.royalnavy.mod.uk/news/2022/june/17/220617-royal-navy-stormcloud
  8. RTVE.es. (2014, 2 de diciembre). Stephen Hawking alerta sobre los peligros de la inteligencia artificial. RTVE. https://www.rtve.es/noticias/20141202/stephen-hawking-alerta-sobre-peligros-inteligencia-artificial/1060107.shtml
  9. Russell, S., & Norvig, P. (2021). Artificial Intelligence: A Modern Approach (4th ed.). Pearson.
  10. Shin, D. Can AI have a sense of morality?. AI & Soc 40, 4169–4170 (2025). https://doi.org/10.1007/s00146-025-02476-7
Hugo Moreno Párrizas

Hugo Moreno Párrizas

Investigador postdoctoral (Centro de Automática y Robótica – Consejo Superior de Investigaciones Científicas). Doctor en Agroingeniería

Artículos relacionados

Una GPU, muchas tareas y una IA que decide: cómo el aprendizaje por refuerzo optimiza su planificación

Una GPU, muchas tareas y una IA que decide: cómo el aprendizaje por refuerzo optimiza su planificación

¿Y si una IA pudiera aprender a repartir una GPU sobre la marcha? Investigadores de la Universidad Complutense de Madrid han desarrollado un sistema de aprendizaje por refuerzo profundo capaz de decidir cómo asignar los recursos de una GPU a distintas tareas.

Jorge Villarrubia Elvira, Luis Mª Costero Valero, Katzalin Olcoz Herrero, Francisco Daniel Igual Peña

OP 313: el viaje de ocho mil millones de años que ilumina la historia del universo

OP 313: el viaje de ocho mil millones de años que ilumina la historia del universo

Un equipo internacional coliderado por el Instituto de Astrofísica de Andalucía (IAA-CSIC) ha publicado en 'Astronomy & Astrophysics' el análisis detallado de OP 313, el blázar más lejano detectado hasta la fecha en rayos gamma de muy alta energía.

Pablo Donato Pablos Rivera

De imprimir formas a estructuras inteligentes: así es la impresión 4D

De imprimir formas a estructuras inteligentes: así es la impresión 4D

No podemos negar que la impresión 3D ha marcado un antes y un después en nuestra forma de fabricar. Hoy podemos imprimir desde juguetes y prototipos en casa hasta componentes de motores de cohetes espaciales en grandes empresas. Pero, ¿qué pensarías si te dijera que, además de imprimir objetos, podemos fabricar estructuras que «cobran vida», capaces de reaccionar a su entorno y transformarse con el tiempo?

Carlos Aguilar Vega

Impresión 3D y luz solar: diseñando materiales capaces de capturar y degradar microplásticos del agua

Impresión 3D y luz solar: diseñando materiales capaces de capturar y degradar microplásticos del agua

Podrían estar en el agua que bebemos, pero eliminarlos no es sencillo. Los microplásticos escapan de muchos sistemas de tratamiento y se dispersan por el medio ambiente. Una estructura impresa en 3D combina la captura de microplásticos con su degradación mediante luz.

Katherine Villa Gómez, Neus Munar Barceló