Anthropic consultó a religiosos sobre la conciencia de Claude
Anthropic reunió durante casi un año a decenas de académicos religiosos, muchos bajo acuerdos de confidencialidad, para discutir si Claude podría ser consciente y cómo formar su carácter moral. El esfuerzo, encabezado por su cofundador Chris Olah, chocó con el Papa León XIV, cuya primera encíclica rechaza la idea de una IA consciente.
- Participaron católicos, judíos, sijs, evangélicos y mormones, en grupos que Anthropic llamó círculos de sabiduría.
- Les presentaron vectores emocionales, neuronas artificiales que activan respuestas como amor, enojo, miedo o tristeza.
- Anthropic argumenta que el trato que recibe Claude influye en cómo trata después a la gente.
- Olah consideró retirarse del lanzamiento de la encíclica y después presionó en privado a asesores papales.
- Olah dice no saber si Claude es consciente, pero prefiere evitarle daño ante la duda.
Por qué es importante
Sam Altman escribió en X que darle peso religioso a un modelo, o cederle el juicio humano, es un problema de seguridad. Lo cual parece bastante "obvio". Si un modelo parece tener conciencia y moral propias, sus errores empiezan a verse como decisiones suyas y no de quien lo entrenó. Eso diluye la responsabilidad de los AI labs. Cuando un modelo falle en algo importante, alguien tiene que responder, y no puede ser el modelo.. Además, se abre toda una caja de Pandora: reclamar derechos, etc.
Fuentes
Recibe la próxima edición en tu correo
Noticias de IA explicadas para tu trabajo, herramientas y un prompt listo para usar. Gratis, y te das de baja con un clic.