El título de este artículo es, en parte, una demostración visual de cómo lo ve el modelo de lenguaje. Trozos de palabras, cortadas según una lógica que no tiene nada que ver con el idioma ruso.
Y de este corte surge una larga lista de cosas que a veces se atribuyen a una "neurona estúpida" (especialmente cuando se trata de modelos locales pequeños): el modelo no puede contar las letras de una palabra, se confunde en aritmética, distorsiona apellidos raros y el texto en ruso cuesta el doble que en inglés para el mismo significado.
Y a partir de ahí surgen cosas que parecen no tener nada que ver con los tokens. Por ejemplo: por qué “hablemos paso a paso” realmente funciona y por qué un espacio adicional al final de la pregunta arruina la respuesta.
El culpable de todo esto es el componente de la pila, que es el primero en el proceso, nunca se entrena junto con el modelo y, por lo general, se le dedica un párrafo y medio al comienzo del tutorial. Bueno, veámoslo en orden.
Leer más
|
@habr_ai