SenseTime ha descubierto los pesos de un modelo de visión unificado

SenseNova-Visión

. Por lo general, para cada tarea (buscar objetos, resaltar sus contornos, estimar la profundidad de la escena), se construye un sistema separado o se integra un módulo especial en el modelo. Aquí abandonaron esto: el modelo resuelve todos los problemas, como generar texto, imágenes o una combinación de ellos.

La empresa se fundó en 2014 y surgió del laboratorio universitario MMLab; de allí procedía una parte importante de los especialistas chinos en visión por ordenador. La fama llegó en 2015, cuando el algoritmo de reconocimiento facial SenseTime superó en precisión al ojo humano. En 2026, Gartner nombró a la empresa Visionaria en CV Generativo.

🟡

mecanica

El modelo muestra marcos de objetos y texto reconocido como texto con coordenadas, mapas normales de superficie y profundidad como imágenes y segmentación compleja como una respuesta mixta, donde la leyenda del texto especifica los colores de la máscara.

Los autores comparan el enfoque con lo que hizo GPT con el texto: en lugar de un zoológico de sistemas especializados, hay una interfaz generativa.

Debajo del capó hay un modelo multimodal abierto Bagel-7B-MoT de ByteDance,

adicionalmente capacitado

sin cambios de arquitectura.

MoT

- Esta es una mezcla de transformadores. Dentro del modelo viven 2 expertos con sus propios pesos: uno es responsable de comprender el texto y las imágenes, el segundo de generar imágenes, y tienen una atención común, por lo que ambos miran el mismo contexto. Los tokens se distribuyen entre expertos estrictamente, por tipo de datos, y no por un enrutador capacitado, como en MoE.

Para SenseNova-Vision, un dispositivo de este tipo resultó útil: el modelo alterna respuestas de texto como coordenadas y respuestas de imágenes como máscaras, y cada rama tiene su propio conjunto de pesos.

🟡

Pruebas

SenseNova-Vision lidera entre los sistemas comparables donde la respuesta es texto estructurado (detección, incluso en escenas densas con docenas de objetos, localización de texto en una imagen, puntos clave).

En estimación profunda y normal se acerca a los mejores métodos generativos, y en segmentación está al nivel de sus competidores.

También hay debilidades. En geometría 3D de vista múltiple, el modelo va por detrás del VGGT especializado y Depth Anything 3, y reconoce el texto en ruso notablemente peor que en inglés.

El cuerpo fue publicado junto con el modelo.

SN-VC-50M

- 50 millones de ejemplos de entrenamiento de conjuntos abiertos: 18,9 millones de fotogramas para comprensión estructural, 17,3 millones para geometría densa, 12,5 millones para geometría multivista y 1,3 millones para segmentación.

📌

Licencia: CC-BY-NC-4.0

🟡

modelo

🟡

arxiv

🟡

Conjunto de datos

🟡

Demostración

🖥

GitHub

@ai_machinelearning_big_data