A LeCun le gusta comparar las redes neuronales modernas con un gato: los modelos grandes escriben códigos y textos, pero aún son peores que los gatos en la comprensión de la física del mundo: bordes de mesa, caídas, colisiones. En lugar de la clásica RL con recompensa, que aprende mediante más/menos por acción y no escala bien, propone una arquitectura de IA basada en objetivos: primero, la IA construye un modelo mundial, una representación abstracta del mundo, luego minimiza una función de costos que evalúa la incomodidad y el riesgo a lo largo de las trayectorias previstas.

Fórmula de costo total

Función de pérdida total para el comportamiento de la IA:

C(s) = IC(s) + TC(s)

donde s es el estado del mundo en el espacio latente.

IC(s): coste intrínseco/instintivo.

Un precio calculable, rígidamente especificado por el control externo: el "Creador" condicional del sistema. Codifica malestar básico: dolor, peligro, hambre, violación de estrictas restricciones físicas, técnicas o reglamentarias. La IA no puede cambiar la CI: para cada estado es fija, no aprende y actúa como un instinto rígido y una “línea roja” que prohíbe trayectorias fundamentalmente inaceptables, incluso si son beneficiosas a nivel local.

TC(s) - crítico entrenable.

Un módulo de aprendizaje que, basándose en la memoria y las predicciones de los modelos mundiales, estima los valores de costos intrínsecos futuros, en un estado futuro específico o en una cantidad descontada a lo largo de toda la trayectoria imaginaria.

En esencia, crítico -

Analogía de la conciencia de la IA,

Así es como aprende a anticipar el malestar total que le provocarán las diferentes opciones de comportamiento y le dice al sistema qué trayectorias es mejor no elegir. Gracias a esto, la IA gana la capacidad de planificar y minimizar no sólo el riesgo actual sino también el de largo plazo.

Ejemplo

El clásico dilema del tranvía.

El modelo mundial comprende que el vagón se está moviendo, que hay una bifurcación en el camino y que hay gente en las vías; diferentes acciones de la IA (no hacer nada, mover la flecha, intentar detenerse) dan lugar a diferentes trayectorias de estados s_{0:T}.

yo

C(s)-

una persona establece la escala de las consecuencias: la muerte de una persona es un costo gigantesco, casi infinito; daños graves - costo muy alto; lesión menor: más pequeña, pero aún significativa. La violación de estrictas restricciones morales y legales también se codifica como un precio extremadamente alto, estrictamente fijado desde el exterior; La IA no puede “negociar” con esta escala.

CT(es),

Al aprender de múltiples escenarios, la conciencia aprende a anticipar qué secuencia de acciones aumentará o disminuirá el CI total esperado y qué trayectorias formalmente posibles conducen en realidad a un nivel inaceptable de malestar.

Cuando la IA pasa por las opciones: no hacer nada (cinco muertos), mover la flecha (un muerto), buscar un tercer camino con minimización de IC (frenado, señalización, etc.)

— cada trayectoria recibe su propia suma C(s_t). El sistema elige aquel en el que el coste esperado es mínimo: el coste instintivo establece una escala rígida de consecuencias, y la conciencia crítica ayuda a ver de antemano qué trayectorias cruzan las líneas rojas, incluso si son matemáticamente alcanzables.