kimi k3
y redes neuronales estatales y también desacopladas de las restricciones de longitud del contexto de las codificaciones posicionales a través de puertas de atenuación de canal
kda
, este no es solo el primer lugar en el LM Arena, sino el surgimiento de una nueva arquitectura y un potencial completamente diferente al de los antiguos LLM. Ahora bien, esto plantea preguntas: ¿es posible que hayamos terminado en
A.G.I.
¿Mucho más cerca de lo que parece?
En realidad
LLM
Ya es lo suficientemente inteligente. Para reemplazar a las personas, simplemente les falta memoria a largo plazo y la experiencia personal que se deriva de ella. Sin embargo
kimi k3
, donde se mostró por primera vez
Estado
en un enorme
LLM
y otro nivel
SOTA
de hecho, hizo que los expertos se preguntaran si Yang Zhilin estaba equivocado en su visión de cómo construir
A.G.I.
?
De hecho, como memoria permanente
A.G.I.
porque ian está ofreciendo
Estado
. Este es un depósito del conocimiento del modelo, ya divorciado del contexto. Tiene una capacidad limitada, pero son precisamente las innovadoras puertas de atenuación del conocimiento en
Atención Kimi Delta
Aquí no solo resuelven el problema de trabajar sin codificaciones posicionales, sino que crean un mecanismo nativo para el modelo, cuando comprende lo que siempre debe recordarse durante mucho tiempo y lo que se puede olvidar. Este es un análogo directo de la memoria a corto y largo plazo de las personas. Como la gente, tal
IA
, si olvidaste algo, puedes volver a leer este contexto.
Ahora es el momento de pasar a las primeras entrevistas de Ian, cuando todavía estaba planeando esto.
I+D
hace unos 2 o 3 años y qué objetivos me propuse y cuáles fueron las consecuencias.
1. Un contexto infinito o al menos enorme es la clave para
A.G.I.
. Según Yang, si el modelo puede ejecutarse con mil millones de tokens de contexto, entonces realmente no importa si es infinito o limitado.
2. Yang cree que cualquier almacenamiento de memoria fuera de la red neuronal es un apoyo para las torcidas redes neuronales actuales; es correcto almacenar datos dentro de la red neuronal como su parte nativa. De hecho, Ian cree que casi todos los sistemas de memoria externa actuales para
IA
Morirá por inutilidad.
3. Yan realmente cree que todos los que participan en el entrenamiento adicional de redes neuronales (
ajuste fino
), se quedarán sin trabajo y no serán útiles para nadie, porque un modelo que puede funcionar en un contexto enorme es, de hecho, capaz de aprender por sí mismo, y él considera que la creación de tal modelo es su misión.
4. Yang señala que la eficiencia es clave.
IA
-La memoria es hacerla, por un lado, con una compresión extrema, incluso increíble, pero al mismo tiempo proporcionar una recuperación casi sin pérdidas.
De una forma u otra, pero
kimi k3
estamos mucho más cerca de un agente con memoria permanente dentro de una red neuronal. Es probable que pronto podamos ver
IA
, que ya no es una charla en el sentido literal de la palabra, sino que flota a lo largo de una cinta interminable de contexto. tal
IA
ya tiene experiencia personal y se parece mucho más a una personalidad, y no sólo a un intelecto.
Aquí conviene recordar la predicción de Musk de que si alguien crea
IA
Solo con memoria permanente, el mundo se pondrá patas arriba literalmente en 3 años. Podremos comprender hasta dónde han llegado Yang y su equipo en su investigación cuando revele más detalles de la arquitectura, y prometió hacerlo.
Sin embargo, autónomo
IA
con experiencia personal y memoria personal se volvieron mucho más cercanos a nosotros.