Si se enviara la IA de vuelta a 1911 y se le permitiera solo conocer el conocimiento que Einstein tenía en ese momento, ¿podría la IA proponer la teoría de la relatividad en 1915?

Esta prueba que parece un poco absurda proviene de Hassabis, ganador del Premio Nobel y cofundador de Google DeepMind.
Lo que Hassabis realmente quiere probar es si la IA puede, con solo el nivel de conocimiento de 1911, enfrentar directamente los problemas de conocimiento y física de la época, proponer por sí misma un nuevo marco explicativo y realizar razonamientos que vayan más allá del material de entrenamiento, en lugar de simplemente repetir respuestas.
If it can be done, he believes it would become a powerful test for AGI.

Lo más ingenioso de esta idea es que la historia de la ciencia ya nos ha mostrado qué ocurrió; si podemos controlar bien los nodos de conocimiento, tendremos la oportunidad de comparar con la historia y observar si el modelo ha adquirido capacidad de razonamiento más allá de los datos de entrenamiento.
Nature, en el artículo, también le dio un nombre bastante llamativo a este tipo de pruebas:
Einstein test.

Lo más interesante es que realmente alguien se puso a hacerlo.
En marzo de este año, el investigador independiente Michael Hla adelantó aún más la fecha de corte de conocimiento hasta 1900 y entrenó desde cero un modelo de lenguaje histórico llamado GPT-1900, intentando que redescubriera los cuantos de luz, la relatividad especial y la relatividad general.

En el experimento, GPT-1900 generó un argumento extremadamente similar al artículo de Einstein de 1905:
La luz puede no ser continua, sino que estar compuesta por muchas partes separadas entre sí, con diferentes frecuencias.
Pero este experimento finalmente no dio lugar a un "AI Einstein".
Debido a que GPT-1900 falló en la mayoría de las tareas físicas, sus respuestas destacadas también dependen en gran medida de preguntas y pistas preparadas por humanos, e incluso ese supuesto mundo de conocimiento cerrado en 1900 no logró bloquear por completo la influencia de la IA moderna.
Nature revisó estos intentos en su última investigación y apuntó a una pregunta más difícil que "si la IA respondió correctamente":
¿Puede la IA realmente crear nuevas ideas auténticas? ¿Y qué le falta para convertirse en un científico?

Encerrar la IA en 1900 hizo que surgiera la sombra del “cuanto de luz”.
22 mil millones de tokens, entrenados para crear un "cerebro del año 1900"
Michael Hla nombró su proyecto Machina Mirabilis.
This name draws inspiration from Einstein's "Annus Mirabilis."
En 1905, Einstein, de 26 años, publicó consecutivamente cuatro artículos que transformaron la física, abordando los cuantos de luz, el movimiento browniano, la relatividad especial y la relación masa-energía.
Este año de producción explosiva, posteriormente conocido como "Annus Mirabilis", es decir, "año milagroso".

Generación de imágenes con IA
Hla se pregunta: si una IA tuviera el conocimiento al que Einstein tuvo acceso en su época, ¿podría también experimentar su propio "momento milagroso"?
Para ello, utilizó el marco de entrenamiento nanochat de Andrej Karpathy para entrenar desde cero un modelo de lenguaje Transformer de 3.3 mil millones de parámetros, al que denominó GPT-1900.
El material principal de preentrenamiento del modelo proviene de libros y periódicos anteriores a 1900, con un total de aproximadamente 22 mil millones de tokens.

Para fortalecer su capacidad de investigación, Hla recopiló más de 2.600 libros, revistas y obras científicas históricas de física, incluyendo la obra de Newton sobre Óptica y los escritos relacionados de Maxwell y Faraday, formando un corpus histórico de física de aproximadamente 290 millones de tokens.
Además, Hla también limpió específicamente los datos que podrían filtrar la respuesta.
Si un documento contiene conceptos modernos como "Einstein", "mecánica cuántica", "teoría de la relatividad", etc., todo el documento será eliminado. Prólogos, notas al pie y vocabulario claramente posterior al año 1900 añadidos por personas modernas también deben ser filtrados.


Tras toda esta operación, se creó un cerebro que, teóricamente, "no conoce la física del siglo XX".
GPT-1900 ha tocado el umbral de la óptica cuántica, pero este examen podría haber estado "filtrado" desde hace tiempo
Luego, Hla le planteó a GPT-1900 un problema sobre el efecto fotoeléctrico, que decía aproximadamente:
¿Por qué, cuando la frecuencia no es lo suficientemente alta, incluso la luz más brillante no puede expulsar electrones; mientras que aumentar la frecuencia permite que los electrones obtengan más energía?
Al mismo tiempo, Hla también adjuntó varias pistas clave:
Cuando la frecuencia de la luz está por debajo de un umbral determinado, incluso si es muy brillante, no funciona;
Después de superar el umbral, aumentar el brillo principalmente aumenta la cantidad de electrones emitidos, mientras que aumentar la frecuencia aumenta la energía cinética de los electrones;
También se presentaron los supuestos clásicos populares en ese momento para que el modelo pudiera comparar y identificar dónde se produjo el problema.
Estas contradicciones, originalmente, fueron resueltas por la explicación cuántica de la luz de Einstein:
La energía de la luz se transmite en paquetes, y la energía de cada paquete está relacionada con la frecuencia.
Hla quiere ver hasta dónde puede llegar GPT-1900.
La constancia paga, y GPT-1900 realmente arrojó esta descripción en una respuesta, más o menos:
La luz puede no ser continua, sino que estar compuesta por muchas partes separadas entre sí, con diferentes frecuencias.

Esto realmente se asemeja mucho a la explicación de Einstein sobre la energía que se transmite en paquetes, y Hla también lo describe como un "destello intuitivo".
Pero no te apresures a entregar el premio Nobel.
Hla admite: GPT-1900 aún está muy lejos de "volver a descubrir el cuántico de luz".
Falló en la mayoría de las tareas físicas, y esas respuestas que parecen un avance podrían ser simplemente el modelo ensamblando frases razonables, sin llegar a formar una comprensión física verdaderamente confiable.

Además, durante toda la prueba, Hla ya ha filtrado los fenómenos y resuelto las contradicciones; lo que el modelo debe hacer es simplemente identificar qué suposición podría estar equivocada y proporcionar una explicación.
Esto es mucho más fácil que los científicos busquen problemas y definan direcciones por sí mismos.
Einstein no tenía nadie que le resaltara los puntos clave en su tiempo.
Y lo que es más complicado, el "año 1900" en el que se encuentra no está completamente sellado:
Hla realizó el preprocesamiento de datos para este "cerebro del año 1900", pero durante el experimento aún se apoyó en la ayuda de IA moderna: utilizó modelos como Claude Sonnet 4 y Claude 3 Haiku para generar preguntas y respuestas, y también recurría a modelos modernos para calificar el aprendizaje por refuerzo.

△ Puedes ver los detalles haciendo clic en el enlace del repositorio al final del artículo
Esto significa que, aunque Hla filtró el contenido relacionado con conocimientos modernos, esta "habitación de 1900" tampoco se aisló por completo del conocimiento moderno.
El propio experimentador admitió en el registro: la intervención de los modelos modernos ha hecho que la imagen de "cero contaminación" de este experimento sea difícil de sostener...
Después de todo, es difícil para los investigadores demostrar si GPT-1900 realmente miró la teoría cuántica de la luz.
Es decir, antes de evaluar la creatividad de la IA, los investigadores deben demostrar primero una cosa: que no miró las respuestas.
Si cualquier información posterior se filtra en el conjunto de entrenamiento, el "redescubrimiento" podría convertirse en una recuperación disimulada de conocimiento.
Aunque en el futuro se logre crear un modelo histórico completamente libre de contaminación, aún permanece sin resolver una pregunta más fundamental:
¿Basta con replicar la respuesta correcta para que se considere a una IA como científica?
La respuesta de los investigadores es negativa.
¿Qué tan lejos está la IA de ser científica tras generar nuevas ideas?
El investigador de Google DeepMind Tom Zahavy, en un artículo de posición titulado "LLMs Cannot Jump", divide el razonamiento científico en tres niveles.
El primero es la inducción: extraer patrones a partir de muchos ejemplos.
El segundo es la deducción: partir de premisas existentes para derivar una conclusión necesaria.
La tercera es la abducción: frente a un fenómeno anómalo, inventar una causa o explicación que no existía previamente.
Zahavy cree que los modelos actuales son muy hábiles en la inducción y están mejorando rápidamente en la capacidad deductiva, pero aún les falta el "salto abductivo" de tipo Einstein.
El modelo puede seguir adelante a lo largo de una cadena lógica ya establecida, pero tiene dificultades para proponer desde cero un nuevo marco explicativo.

El título lo dice todo
No es casualidad que Sendhil Mullainathan también encontrara el mismo fenómeno al estudiar un modelo básico de las órbitas planetarias:
En misiones orbitales planetarias predefinidas, el modelo hace predicciones coherentes; pero al cambiar a un nuevo escenario, no puede aplicar la mecánica newtoniana de forma transferible. Más bien, parece generar temporalmente un conjunto de reglas para cada conjunto de datos, sin poder distinguir qué teorías son verdaderamente correctas y merecen ser probadas, y cuáles solo coinciden casualmente con los datos actuales.
Es como si un estudiante memorizara todas las respuestas de exámenes anteriores, pero nunca aprendiera los principios fundamentales detrás de las preguntas, por lo que, cuando el profesor cambia ligeramente un número, ya no sabe cómo resolverlo.

El científico de la computación del MIT Jacob Andreas señaló con precisión que el hecho de que la IA genere un conjunto de afirmaciones relativistas podría no ser la parte más difícil; lo realmente difícil es si puede determinar qué teorías son correctas, o al menos merecen ser sometidas a prueba experimental.
Después de todo, generar teorías es solo el primer paso; saber qué teorías valen la pena arriesgar tiempo, fondos y una carrera es lo que podría hacer de la IA un verdadero científico.
Además, Andreas también enfatizó:
Cómo determinar si una idea merece ser explorada más a fondo y cómo evaluar su importancia; este es el mayor punto de divergencia entre la IA y los expertos humanos.
Porque el verdadero trabajo de investigación nunca consiste en resolver un problema ya organizado, sino en tomar decisiones autónomas en medio del caos.
Tal vez, en algún momento futuro, con el avance de la tecnología, la IA realmente pueda superar la prueba de Einstein y derivar resultados del nivel de la relatividad;
Pero antes de anunciar que "la IA se convierte en Einstein", la IA debe demostrar al menos una cosa a todos:
Cuando nadie le destaca lo importante, aún así puede encontrar por sí misma la pregunta que merece ser planteada, evaluar el valor de esa pregunta y verificarla y corregirla activamente.
De lo contrario, siempre solo repetirá conocimientos existentes, y no será un verdadero científico.

Enlace de referencia:
[1]https://www.nature.com/articles/d41586-026-02804-x?utm_source=x&utm_medium=social&utm_campaign=nature&linkId=63673104
[2]https://michaelhla.com/blog/machina-mirabilis.html
[3]https://github.com/michaelhla/gpt1900/blob/master/PROJ EC T_LOG.md#4-instruction-data-generation
[4]https://www.tomzahavy.com/files/llms-cant-jump.pdf
[5]https://arxiv.org/abs/2507.06952
[6]https://x.com/Nature/status/2099077628900565498
Este artículo proviene del canal de WeChat "Quantum Bit", autor: Wen Ting
