Modelo con 2.400 millones de parámetros

se convirtió

la empresa más pequeña de la línea VLM. Se diferencia de la mayoría de estos modelos en que trabaja con imágenes en su resolución original.

Normalmente, la imagen se comprime antes de enviarla al modelo y el texto pequeño, las marcas de las tablas y los títulos del gráfico se pierden. Aquí se conservan las proporciones y la barra superior corresponde a una página A4 escaneada a 200 ppp.

De ahí el ámbito de aplicación indicado: documentos, tablas, gráficos, capturas de pantalla, formularios.

El tamaño compacto es conveniente para capacitación adicional en su área temática, y los ensamblajes cuantificados, según Cohere, se usarán no solo en un servidor, sino también en una computadora portátil o dispositivo móvil.

🟡

Arquitectura

El codificador visual con 400 millones de parámetros creció desde

SigLIP 2

y mantiene la resolución original utilizando RoPE 2D junto con incrustaciones posicionales 1D entrenadas.

La parte del lenguaje es el LLM propio de North Micro con 2 mil millones de parámetros, repitiendo la arquitectura.

Comando A+

: Tres capas de atención con ventana deslizante y RoPE se alternan con una capa global que opera sin ninguna incrustación posicional.

Esto da como resultado una división del trabajo: las ventanas con RoPE mantienen el contexto local, la capa global mira todo a la vez y no necesita marcar posiciones.

Hay un proyector entre ellos, y aquí está lo más destacado. En lugar de alimentar el modelo de lenguaje con un conjunto de características ya preparadas, Cohere mezcla incrustaciones de parches de múltiples capas del codificador visual en las primeras capas correspondientes del modelo de lenguaje. Así es como el modelo ve la imagen con diferentes grados de generalización a la vez. El principio se toma de

pila profunda

.

🟡

Pruebas

Las mediciones se realizaron a través de

VLMEvalKit

, en comparación con ocho modelos que varían en tamaño entre 1,6 y 5,1 mil millones de parámetros.

North Micro Vision parece más fuerte en el lugar al que apuntaba.

En DocVQA 0,921, en ChartQA 0,808, en AI2D 0,775, en RefCOCO 0,732 (tres veces mayor que Ministral y Qwen3-VL).

El lenguaje y el razonamiento generales son más débiles.

En MMMU 0,329, el peor resultado de la tabla; En MMLU y MMLU-Pro el modelo también es inferior a la mayoría de sus vecinos.

📌

Licencia: Licencia Apache 2.0.

🟡

Artículo

🟡

modelo

🟡

Demostración

@ai_machinelearning_big_data