El modelo de IA GPT-1900 imita la intuición de Einstein de 1905 sobre los cuantos de luz

icon MarsBit
Compartir
AI summary iconResumen
Las noticias de IA y cripto destacan un experimento reciente en el que un investigador entrenó a GPT-1900 utilizando únicamente conocimiento previo a 1900. El modelo generó una afirmación similar a la teoría de los cuantos de luz de Einstein de 1905, pero tuvo dificultades con la mayoría de las tareas de física. El análisis en cadena y de IA sugiere que el modelo dependió en gran medida de los prompts, lo que plantea dudas sobre su razonamiento.

Si se enviara la IA de vuelta a 1911 y se le permitiera solo conocer el conocimiento que Einstein tenía en ese momento, ¿podría la IA proponer la teoría de la relatividad en 1915?

GPT-1900

Esta prueba que parece un poco absurda proviene de Hassabis, ganador del Premio Nobel y cofundador de Google DeepMind.

Lo que Hassabis realmente quiere probar es si la IA puede, con solo el nivel de conocimiento de 1911, enfrentar directamente los problemas de conocimiento y física de la época, proponer por sí misma un nuevo marco explicativo y realizar razonamientos que vayan más allá del material de entrenamiento, en lugar de simplemente repetir respuestas.

If it can be done, he believes it would become a powerful test for AGI.

GPT-1900

Lo más ingenioso de esta idea es que la historia de la ciencia ya nos ha mostrado qué ocurrió; si podemos controlar bien los nodos de conocimiento, tendremos la oportunidad de comparar con la historia y observar si el modelo ha adquirido capacidad de razonamiento más allá de los datos de entrenamiento.

Nature, en el artículo, también le dio un nombre bastante llamativo a este tipo de pruebas:

Einstein test.

GPT-1900

Lo más interesante es que realmente alguien se puso a hacerlo.

En marzo de este año, el investigador independiente Michael Hla adelantó aún más la fecha de corte de conocimiento hasta 1900 y entrenó desde cero un modelo de lenguaje histórico llamado GPT-1900, intentando que redescubriera los cuantos de luz, la relatividad especial y la relatividad general.

GPT-1900

En el experimento, GPT-1900 generó un argumento extremadamente similar al artículo de Einstein de 1905:

La luz puede no ser continua, sino que estar compuesta por muchas partes separadas entre sí, con diferentes frecuencias.

Pero este experimento finalmente no dio lugar a un "AI Einstein".

Debido a que GPT-1900 falló en la mayoría de las tareas físicas, sus respuestas destacadas también dependen en gran medida de preguntas y pistas preparadas por humanos, e incluso ese supuesto mundo de conocimiento cerrado en 1900 no logró bloquear por completo la influencia de la IA moderna.

Nature revisó estos intentos en su última investigación y apuntó a una pregunta más difícil que "si la IA respondió correctamente":

¿Puede la IA realmente crear nuevas ideas auténticas? ¿Y qué le falta para convertirse en un científico?

GPT-1900

Encerrar la IA en 1900 hizo que surgiera la sombra del “cuanto de luz”.

22 mil millones de tokens, entrenados para crear un "cerebro del año 1900"

Michael Hla nombró su proyecto Machina Mirabilis.

This name draws inspiration from Einstein's "Annus Mirabilis."

En 1905, Einstein, de 26 años, publicó consecutivamente cuatro artículos que transformaron la física, abordando los cuantos de luz, el movimiento browniano, la relatividad especial y la relación masa-energía.

Este año de producción explosiva, posteriormente conocido como "Annus Mirabilis", es decir, "año milagroso".

GPT-1900

Generación de imágenes con IA

Hla se pregunta: si una IA tuviera el conocimiento al que Einstein tuvo acceso en su época, ¿podría también experimentar su propio "momento milagroso"?

Para ello, utilizó el marco de entrenamiento nanochat de Andrej Karpathy para entrenar desde cero un modelo de lenguaje Transformer de 3.3 mil millones de parámetros, al que denominó GPT-1900.

El material principal de preentrenamiento del modelo proviene de libros y periódicos anteriores a 1900, con un total de aproximadamente 22 mil millones de tokens.

GPT-1900

Para fortalecer su capacidad de investigación, Hla recopiló más de 2.600 libros, revistas y obras científicas históricas de física, incluyendo la obra de Newton sobre Óptica y los escritos relacionados de Maxwell y Faraday, formando un corpus histórico de física de aproximadamente 290 millones de tokens.

Además, Hla también limpió específicamente los datos que podrían filtrar la respuesta.

Si un documento contiene conceptos modernos como "Einstein", "mecánica cuántica", "teoría de la relatividad", etc., todo el documento será eliminado. Prólogos, notas al pie y vocabulario claramente posterior al año 1900 añadidos por personas modernas también deben ser filtrados.

GPT-1900

GPT-1900

Tras toda esta operación, se creó un cerebro que, teóricamente, "no conoce la física del siglo XX".

GPT-1900 ha tocado el umbral de la óptica cuántica, pero este examen podría haber estado "filtrado" desde hace tiempo

Luego, Hla le planteó a GPT-1900 un problema sobre el efecto fotoeléctrico, que decía aproximadamente:

¿Por qué, cuando la frecuencia no es lo suficientemente alta, incluso la luz más brillante no puede expulsar electrones; mientras que aumentar la frecuencia permite que los electrones obtengan más energía?

Al mismo tiempo, Hla también adjuntó varias pistas clave:

Cuando la frecuencia de la luz está por debajo de un umbral determinado, incluso si es muy brillante, no funciona;

Después de superar el umbral, aumentar el brillo principalmente aumenta la cantidad de electrones emitidos, mientras que aumentar la frecuencia aumenta la energía cinética de los electrones;

También se presentaron los supuestos clásicos populares en ese momento para que el modelo pudiera comparar y identificar dónde se produjo el problema.

Estas contradicciones, originalmente, fueron resueltas por la explicación cuántica de la luz de Einstein:

La energía de la luz se transmite en paquetes, y la energía de cada paquete está relacionada con la frecuencia.

Hla quiere ver hasta dónde puede llegar GPT-1900.

La constancia paga, y GPT-1900 realmente arrojó esta descripción en una respuesta, más o menos:

La luz puede no ser continua, sino que estar compuesta por muchas partes separadas entre sí, con diferentes frecuencias.

GPT-1900

Esto realmente se asemeja mucho a la explicación de Einstein sobre la energía que se transmite en paquetes, y Hla también lo describe como un "destello intuitivo".

Pero no te apresures a entregar el premio Nobel.

Hla admite: GPT-1900 aún está muy lejos de "volver a descubrir el cuántico de luz".

Falló en la mayoría de las tareas físicas, y esas respuestas que parecen un avance podrían ser simplemente el modelo ensamblando frases razonables, sin llegar a formar una comprensión física verdaderamente confiable.

GPT-1900

Además, durante toda la prueba, Hla ya ha filtrado los fenómenos y resuelto las contradicciones; lo que el modelo debe hacer es simplemente identificar qué suposición podría estar equivocada y proporcionar una explicación.

Esto es mucho más fácil que los científicos busquen problemas y definan direcciones por sí mismos.

Einstein no tenía nadie que le resaltara los puntos clave en su tiempo.

Y lo que es más complicado, el "año 1900" en el que se encuentra no está completamente sellado:

Hla realizó el preprocesamiento de datos para este "cerebro del año 1900", pero durante el experimento aún se apoyó en la ayuda de IA moderna: utilizó modelos como Claude Sonnet 4 y Claude 3 Haiku para generar preguntas y respuestas, y también recurría a modelos modernos para calificar el aprendizaje por refuerzo.

GPT-1900

△ Puedes ver los detalles haciendo clic en el enlace del repositorio al final del artículo

Esto significa que, aunque Hla filtró el contenido relacionado con conocimientos modernos, esta "habitación de 1900" tampoco se aisló por completo del conocimiento moderno.

El propio experimentador admitió en el registro: la intervención de los modelos modernos ha hecho que la imagen de "cero contaminación" de este experimento sea difícil de sostener...

Después de todo, es difícil para los investigadores demostrar si GPT-1900 realmente miró la teoría cuántica de la luz.

Es decir, antes de evaluar la creatividad de la IA, los investigadores deben demostrar primero una cosa: que no miró las respuestas.

Si cualquier información posterior se filtra en el conjunto de entrenamiento, el "redescubrimiento" podría convertirse en una recuperación disimulada de conocimiento.

Aunque en el futuro se logre crear un modelo histórico completamente libre de contaminación, aún permanece sin resolver una pregunta más fundamental:

¿Basta con replicar la respuesta correcta para que se considere a una IA como científica?

La respuesta de los investigadores es negativa.

¿Qué tan lejos está la IA de ser científica tras generar nuevas ideas?

El investigador de Google DeepMind Tom Zahavy, en un artículo de posición titulado "LLMs Cannot Jump", divide el razonamiento científico en tres niveles.

El primero es la inducción: extraer patrones a partir de muchos ejemplos.

El segundo es la deducción: partir de premisas existentes para derivar una conclusión necesaria.

La tercera es la abducción: frente a un fenómeno anómalo, inventar una causa o explicación que no existía previamente.

Zahavy cree que los modelos actuales son muy hábiles en la inducción y están mejorando rápidamente en la capacidad deductiva, pero aún les falta el "salto abductivo" de tipo Einstein.

El modelo puede seguir adelante a lo largo de una cadena lógica ya establecida, pero tiene dificultades para proponer desde cero un nuevo marco explicativo.

GPT-1900

El título lo dice todo

No es casualidad que Sendhil Mullainathan también encontrara el mismo fenómeno al estudiar un modelo básico de las órbitas planetarias:

En misiones orbitales planetarias predefinidas, el modelo hace predicciones coherentes; pero al cambiar a un nuevo escenario, no puede aplicar la mecánica newtoniana de forma transferible. Más bien, parece generar temporalmente un conjunto de reglas para cada conjunto de datos, sin poder distinguir qué teorías son verdaderamente correctas y merecen ser probadas, y cuáles solo coinciden casualmente con los datos actuales.

Es como si un estudiante memorizara todas las respuestas de exámenes anteriores, pero nunca aprendiera los principios fundamentales detrás de las preguntas, por lo que, cuando el profesor cambia ligeramente un número, ya no sabe cómo resolverlo.

GPT-1900

El científico de la computación del MIT Jacob Andreas señaló con precisión que el hecho de que la IA genere un conjunto de afirmaciones relativistas podría no ser la parte más difícil; lo realmente difícil es si puede determinar qué teorías son correctas, o al menos merecen ser sometidas a prueba experimental.

Después de todo, generar teorías es solo el primer paso; saber qué teorías valen la pena arriesgar tiempo, fondos y una carrera es lo que podría hacer de la IA un verdadero científico.

Además, Andreas también enfatizó:

Cómo determinar si una idea merece ser explorada más a fondo y cómo evaluar su importancia; este es el mayor punto de divergencia entre la IA y los expertos humanos.

Porque el verdadero trabajo de investigación nunca consiste en resolver un problema ya organizado, sino en tomar decisiones autónomas en medio del caos.

Tal vez, en algún momento futuro, con el avance de la tecnología, la IA realmente pueda superar la prueba de Einstein y derivar resultados del nivel de la relatividad;

Pero antes de anunciar que "la IA se convierte en Einstein", la IA debe demostrar al menos una cosa a todos:

Cuando nadie le destaca lo importante, aún así puede encontrar por sí misma la pregunta que merece ser planteada, evaluar el valor de esa pregunta y verificarla y corregirla activamente.

De lo contrario, siempre solo repetirá conocimientos existentes, y no será un verdadero científico.

GPT-1900

Enlace de referencia:

[1]https://www.nature.com/articles/d41586-026-02804-x?utm_source=x&utm_medium=social&utm_campaign=nature&linkId=63673104

[2]https://michaelhla.com/blog/machina-mirabilis.html

[3]https://github.com/michaelhla/gpt1900/blob/master/PROJ EC T_LOG.md#4-instruction-data-generation

[4]https://www.tomzahavy.com/files/llms-cant-jump.pdf

[5]https://arxiv.org/abs/2507.06952

[6]https://x.com/Nature/status/2099077628900565498

Este artículo proviene del canal de WeChat "Quantum Bit", autor: Wen Ting

Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información. Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.