En marzo de 2026, Google publica una publicación sobre un algoritmo de compresión de memoria para modelos de lenguaje. Suena aburrido, ¿verdad? Pero las acciones de Micron, SanDisk, Samsung, SK Hynix y otros fabricantes de memorias pierden un total de casi 90 mil millones de dólares en capitalización en el transcurso de una semana. Los inversores están entrando en pánico: si los modelos empiezan a utilizar mucha menos memoria, ¿por qué tanto hardware?
El algoritmo que hizo todo este ruido se llama TurboQuant, el héroe de este artículo.
No diré que se trata de una “revolución” o “una revolución en la industria”, sería una clara exageración. Pero la cosa es realmente interesante y ya hay implementaciones que funcionan. Si implementa LLM en producción o simplemente ejecuta modelos localmente, le resultará 100% útil saberlo. Averigüemos cuál de las afirmaciones es verdadera y cuál es exagerada y, lo más importante, cómo probarlo ahora mismo.
Leer más
|
@habr_ai