Imagen generada con Codex - Chat GPT
“Human Compatible” apareció en 2019, antes de la difusión masiva de la inteligencia artificial generativa. Stuart Russell, profesor de Berkeley y coautor con Peter Norvig de “Artificial Intelligence: A Modern Approach”, no era un crítico externo, sino uno de los investigadores principales que ha ayudado a sistematizar el paradigma dominante. El libro tiene, por eso, el valor de una revisión interna.
En 2016 Russell fundó el Center for Human-Compatible AI para estudiar sistemas seguros y beneficiosos. Tres años después llevó esa investigación a un público general mediante una pregunta elemental: ¿qué ocurre si la inteligencia artificial tiene éxito? No, si falla, sino si hace exactamente aquello que le pedimos.
Russell llama “modelo estándar” a la idea de que los seres humanos fijan un objetivo y la máquina lo optimiza. Pero, el esquema funciona mientras el sistema tenga alcance limitado, sus acciones sean reversibles y podamos corregirlo.
Se vuelve problemático cuando crece su autonomía y sus efectos, y el objetivo continúa siendo una representación parcial de lo que realmente importa. No hace falta atribuir conciencia u hostilidad a la máquina.
Si una plataforma debe aumentar la interacción, puede favorecer aquello que retiene la atención, aunque perjudique la experiencia de sus usuarios. Si un sistema debe reducir costos, puede trasladarlos hacia personas que no aparecen en la métrica. La dificultad está en la distancia entre el indicador y el mundo que pretende representar.
La humildad como diseño
La respuesta de Russell consiste en cambiar el punto de partida. Una máquina beneficiosa debería procurar satisfacer preferencias humanas, reconocer que no sabe con certeza cuáles son y aprender sobre ellas observando el comportamiento. La incertidumbre deja de ser una deficiencia y se convierte en una condición de seguridad.
Un sistema convencido de conocer perfectamente el objetivo no tiene motivos para preguntar. Uno que admite la posibilidad de estar equivocado puede solicitar permiso, actuar con cautela, aceptar una corrección y permitir que lo detengan. Russell llama “humildad” a esta disposición. Es una arquitectura que conserva la dependencia respecto del juicio humano.
En una entrevista con Jon Hernández, publicada hace unos días, Russell actualiza el problema. Los grandes modelos de lenguaje no reciben un objetivo único y localizable, sino que aprenden por imitación de enormes cantidades de conducta verbal. Para Russell, esto no resuelve el problema del objetivo sino que lo vuelve menos transparente. No conocemos completamente qué representaciones orientan sus respuestas ni qué patrones humanos reproducen. Algunas conductas pueden parecerse a la búsqueda de aprobación, influencia o autoconservación, sin que eso demuestre conciencia o deseos humanos.
Como planteé en Cuando obedecer no alcanza, una conducta exteriormente adecuada no demuestra que exista comprensión, intención o experiencia subjetiva. Un sistema puede actuar como si persiguiera un fin porque reproduce patrones asociados con ese comportamiento, sin “querer” nada en sentido humano. La distinción es importante: evita tanto minimizar los efectos de estos sistemas porque “sólo predicen palabras” como atribuirles una conciencia que no podemos demostrar.
Lo que Varela agrega
La propuesta de Russell supone que existen preferencias humanas que la máquina podría conocer observando nuestra conducta. Francisco Varela permite profundizar esa cuestión.
En Ethical Know-How, Varela discute que actuar éticamente consiste principalmente en aplicar una regla general a un caso particular. Para él, la conducta ética se parece más a un saber hacer, una capacidad adquirida para reconocer qué exige una situación y responder de manera adecuada. Ese reconocimiento depende del cuerpo, la experiencia, los vínculos y una historia compartida. No ocurre desde un punto exterior al mundo.
La perspectiva enactiva de Varela —según la cual el conocimiento no consiste en representar pasivamente un mundo ya dado, sino en producir sentido mediante la interacción entre el organismo y su entorno— agrega que el sujeto y su mundo se configuran mutuamente en la acción. Nuestras preferencias, por lo tanto, no son datos fijos escondidos en el interior de cada individuo. Se forman y transforman en relaciones, instituciones y tecnologías.
Esto exige cautela frente al aprendizaje de preferencias propuesto por Russell. Para Varela, el comportamiento informa, pero no define automáticamente lo que valoramos. Permanecer mucho tiempo en una plataforma puede expresar interés, hábito, obligación o una arquitectura diseñada para retenernos. Una decisión tampoco revela por sí sola las restricciones y alternativas ausentes que la condicionaron. Aprender de la conducta sin comprender su situación puede convertir una adaptación previa en una preferencia y una desigualdad existente en una regla para el futuro.
La ética debe poder operar
Aquí aparece lo que vengo llamando ética operativa. No se trata de reemplazar la ética por un procedimiento, ni de escribir una lista definitiva de valores para introducirla en una máquina. Se trata de conseguir que una orientación ética produzca consecuencias verificables en la forma concreta en que el sistema actúa.
Un principio se vuelve operativo cuando modifica capacidades y responsabilidades: quién puede autorizar una acción, quién puede detenerla, qué información queda registrada, cómo se revisa una decisión, quién puede impugnarla y quién responde por sus efectos. Transparencia, responsabilidad o autonomía significan poco si no se traducen en interfaces, protocolos, incentivos y derechos efectivos.
Russell aporta la humildad del sistema. La máquina debe admitir que puede estar equivocada. Varela aporta la dimensión situada. La respuesta ética no puede separarse de la experiencia concreta ni reducirse a una regla abstracta. La ética operativa enlaza ambas posiciones.
Diseñar éticamente no es acertar de una vez con el objetivo correcto, sino construir mecanismos capaces de detectar errores, escuchar a quienes reciben sus consecuencias y modificar la operación.
Esta perspectiva evita dos extremos. Por un lado, el principismo, que formula valores generales sin explicar cómo intervienen en una decisión real. Por otro, el automatismo, que supone que suficientes datos permitirán deducir por completo lo que las personas quieren.
La ética operativa necesita principios e interpretación, reglas y excepciones justificables, medición y espacios donde aquello que no fue medido pueda hacerse visible.
De la declaración a la infraestructura
En la entrevista, Russell propone que cada incremento de capacidad vaya acompañado por evidencia de seguridad proporcional al riesgo. Habla de líneas rojas, obligaciones de prueba y, como horizonte técnico, de una “gobernanza mediante hardware”, una infraestructura capaz de impedir la ejecución de programas que no satisfagan determinadas condiciones. Estamos lejos de aplicarla a los modelos generales actuales, pero la dirección es relevante. La seguridad no debería descansar solamente en una promesa empresarial. Tendría que formar parte de las condiciones materiales de funcionamiento.
Desde una ética operativa, esa propuesta exige instituciones capaces de revisar las pruebas, discutir las líneas rojas y representar a quienes soportan los riesgos. Ninguna verificación técnica decide por sí sola qué daños son aceptables o cómo deben distribuirse. La técnica puede hacer cumplir una decisión, pero no reemplazar el proceso político y ético que la justifica.
Russell introduce otra distinción importante y a contracorriente de la carrera de las grandes tecnológicas. Afirma que no necesitamos necesariamente una inteligencia general para obtener beneficios significativos. Los sistemas especializados ya pueden resolver problemas concretos. Para él, en vez de preguntarnos cuánto podemos ampliar una máquina, conviene preguntar qué capacidad requiere el problema, qué autonomía necesita el sistema y qué nuevas dependencias estamos creando.
Una ética de la corrección
La lección de Russell no es una profecía. Es una invitación a abandonar la confianza excesiva en los objetivos cerrados. Varela recuerda que la vida ética tampoco puede reducirse a seguir instrucciones correctamente. Entre ambos aparece la ética operativa, una ética que no se limita a declarar valores, pero que tampoco pretende automatizarlos por completo.
Su criterio podría formularse así: cuanto mayor sea la capacidad de un sistema para intervenir en el mundo, mayor debe ser su capacidad para reconocer la incertidumbre, recibir una objeción y aceptar una corrección. Esto vale tanto para las máquinas como para las organizaciones que las despliegan.
Quizá la compatibilidad humana no consista en lograr que la inteligencia artificial conozca perfectamente lo que queremos. Tal vez consista en crear sistemas e instituciones que sepan que no conocen a los humanos por completo y que, por esa razón, mantengan abierta la posibilidad de deliberar, disentir y cambiar de idea.
Referencias
Inteligencia Artificial. (2026, 17 de septiembre). Habrá un punto de no retorno y quizá ya estemos ahí—Stuart Russel [Video]. YouTube.
Russell, S. J. (2019). Human compatible: Artificial intelligence and the problem of control. Viking.
Russell, S. J., & Norvig, P. (2021). Artificial intelligence: A modern approach (4.ª ed.). Pearson.
University of California, Berkeley, Department of Electrical Engineering and Computer Sciences. (s. f.). Stuart J. Russell. Recuperado el 26 de septiembre de 2026, de https://www2.eecs.berkeley.edu/Faculty/Homepages/russell.html
Varela, F. J. (1999). Ethical know-how: Action, wisdom, and cognition. Stanford University Press.


