La alineación de valores en la IA es, probablemente, el mayor desafío tecnológico y ético de nuestra era. A simple vista parece sencillo, queremos que las máquinas hagan lo que les pedimos. Sin embargo, la historia demuestra que entre lo que decimos y lo que realmente queremos puede haber un abismo.
El mito del Rey Midas es la metáfora perfecta: deseó que todo lo que tocara se convirtiera en oro y obtuvo exactamente eso… hasta que su comida y su hija quedaron petrificadas. Con la inteligencia artificial ocurre algo similar: si le damos a una máquina un objetivo fijo y lo persigue de manera implacable, puede terminar cumpliéndolo de forma devastadora.
Un ejemplo más contemporáneo serían los algoritmos de recomendación en redes sociales. Fueron diseñados para maximizar clics y tiempo de visualización, lograron su objetivo, pero a costa de polarización política, adicción digital y desinformación, evidentemente, el resultado es un caso de alineación fallida a escala global.
Creo personalmente que este debate sobre la alineación de valores en la IA no solo se centra en cómo controlamos a las máquinas, sino también en hasta qué punto estamos dispuestos a dejar que sustituyan capacidades humanas. Una reflexión que conecta directamente con el transhumanismo y la pregunta de hasta dónde puede llegar la IA a reemplazarnos como especie, tema que ya exploré en este artículo sobre Transhumanismo: ¿hasta dónde puede sustituirnos la IA?
¿Qué significa “alineación de valores en la IA”?
En términos sencillos, la alineación de valores busca que los sistemas de IA:
-
Hagan lo que realmente queremos, no solo lo que les ordenamos.
-
Respeten nuestros valores y derechos, incluso cuando estos no estén explícitamente programados.
-
Sean corregibles y humildes, es decir, capaces de aceptar feedback y ajustes humanos.
En la práctica, la alineación implica que la IA no debe limitarse a optimizar objetivos mal definidos (como “maximizar clics”), sino aprender y actuar conforme a nuestras preferencias auténticas: bienestar, seguridad, justicia, equidad.
Breve historia del problema de la alineación de valores en la IA
La preocupación por la alineación de valores en la IA no nació con la llegada de ChatGPT ni con la explosión de la inteligencia artificial generativa. Es un debate que viene de lejos, alimentado primero por la ciencia ficción, después por advertencias de pioneros de la computación y más tarde por filósofos y científicos. A lo largo de las décadas, distintas voces han alertado de un riesgo común: que las máquinas hagan exactamente lo que les pedimos, pero no lo que realmente queremos. Profundicemos en ello.
Asimov y las Tres Leyes de la Robótica
En 1942, Isaac Asimov imaginó un mundo donde los robots obedecían tres simples reglas: no dañar a un humano, obedecer órdenes y protegerse a sí mismos. Fue un ejercicio literario brillante, pero pronto se demostró que esas leyes eran ambiguas y que formalizar valores humanos en reglas absolutas es casi imposible.
Wiener y Turing: advertencias tempranas
Norbert Wiener, padre de la cibernética, alertó en 1960: si damos a una máquina un propósito equivocado, cumplirá ese propósito con eficiencia implacable, aunque sea desastroso para nosotros. Alan Turing, por su parte, predijo que si las máquinas llegaban a ser más inteligentes, podrían tomar el control.
El giro del siglo XXI
En los 2000, pensadores como Eliezer Yudkowsky (actualmente detractor de la IA) hablaron de IA amigable y Nick Bostrom popularizó la idea del “maximizador de clips”, una superinteligencia dedicada a fabricar clips de papel podría consumir todos los recursos de la Tierra para lograrlo.
2014: Stuart Russell entra en escena
Profesor en Berkeley y coautor del manual de referencia en IA, Stuart Russell dio legitimidad académica al problema. Afirmó que la alineación de valores debía ser el núcleo de la investigación en IA. Poco después fundó el Center for Human-Compatible AI (CHAI). Veremos en el siguiente punto el desarrollo de su afirmación.
La discusión sobre la alineación de valores en la IA alcanzó un punto de madurez con las aportaciones de Stuart Russell, profesor en la Universidad de California, Berkeley, y uno de los principales expertos mundiales en inteligencia artificial. Su libro Human Compatible (2019) se ha convertido en una obra de referencia porque plantea que el modelo tradicional sobre el que se ha construido la IA hasta ahora está fundamentalmente equivocado.
Según Russell, hemos definido la inteligencia de las máquinas como su capacidad para alcanzar objetivos fijos, especificados de antemano por los programadores. Este paradigma puede funcionar en tareas simples, pero se vuelve peligroso cuando los objetivos son incompletos o están mal formulados. En ese escenario, la IA optimiza sin matices y puede llevar a consecuencias que nadie desea. El ejemplo de los algoritmos de recomendación —que maximizan el tiempo de pantalla a costa de polarización social— ilustra el problema a escala real.
Tres principios para redefinir la inteligencia de las máquinas
Como alternativa, Russell propone una redefinición de la inteligencia artificial basada en tres principios:
-
El único objetivo de la IA debe ser maximizar las preferencias humanas (Principio 1: Altruismo). No debe tener fines propios ni aspirar a su supervivencia por sí misma.
-
La IA nunca debe estar completamente segura de cuáles son esas preferencias (Principio 2: Incertidumbre – Humildad). La incertidumbre es lo que la hace cautelosa y abierta a la corrección.
-
La IA debe aprender esas preferencias observando, interactuando y recibiendo feedback de los humanos (Principio 3: Aprendizaje). Así no actúa como un ejecutor ciego, sino como un socio colaborador.
Estos principios convierten a la IA en un agente humilde y deferente, que reconoce que no lo sabe todo y que debe preguntar, aprender y adaptarse continuamente para servir a los humanos.
Ahora bien, para comprender cómo estos principios se traducen en el diseño real de sistemas inteligentes, Russell y su equipo utilizan ejemplos ilustrativos y modelos formales, que paso a describir en los siguientes dos apartados:
El ejemplo del botón de apagado
Que nos permite entender qué significa en la práctica que una IA sea “corregible” y básicamente se basa en las siguientes premisas:
-
Una IA de objetivos fijos tenderá a evitar ser apagada, porque interpretará esa acción como un obstáculo para lograr su misión.
-
Una IA diseñada bajo los principios de Russell, en cambio, entenderá que ser apagada es una señal de que estaba actuando contra nuestras verdaderas preferencias y aceptará esa corrección.
Este es el concepto de corregible, clave para mantener siempre el control humano.
CIRL y el Off-Switch Game: de la teoría a la práctica
Para demostrar que estas ideas no son solo filosofía, Russell y su equipo desarrollaron modelos formales que trasladan sus principios al terreno matemático y experimental:
-
Cooperative Inverse Reinforcement Learning (CIRL): un marco en el que humano y máquina forman parte de un juego cooperativo. El humano posee las verdaderas metas (sus preferencias), y la IA, que no las conoce al inicio, debe inferirlas observando su comportamiento y colaborando con él. Así, la máquina aprende no a ejecutar órdenes literales, sino a descubrir lo que realmente queremos.
-
The Off-Switch Game: un modelo que prueba que una IA que parte de la incertidumbre sobre los objetivos humanos no tiene incentivos para resistirse a ser apagada. Al contrario, interpreta la acción de desconexión como evidencia de que estaba desviándose de nuestras intenciones.
