El equipo WeChat del gigante tecnológico chino
publicado
una familia de modelos de incrustación puestos a disposición del público
Incrustación de WeMM
, diseñado para crear representaciones vectoriales universales.
El conjunto trabaja con texto, imágenes, vídeos, documentos visuales complejos y contenidos mixtos, combinándolos en un único espacio semántico.
Las incrustaciones se enseñaron utilizando Matryoshka Representation Learning, que le permite recortar la dimensión del vector en la etapa de aplicación, ahorrando memoria y cálculos.
La familia se construyó en Qwen3.5; en la salida, el modelo más joven proporciona un vector normalizado para 2048 dimensiones y el anterior, para 4096.
Tencent cita la cifra de que, comprimido a 256 dimensiones, el modelo número dos mil millones conserva el 98,7% de la calidad original para tareas con fotos y vídeos.
Se han publicado pesos de tres dimensiones:
2B
,
4B
y
9B
🟡
Pruebas
9B obtiene la nueva mejor puntuación general en MMEB-v2 (80,6 puntos) y 2B supera a Qwen3-VL-Embedding, que es cuatro veces su tamaño.
Pero hay un argumento más fuerte que los puntos de referencia: la familia trabaja en las recomendaciones y búsquedas de WeChat. Se implementa para manejar canales, cuentas y comercio electrónico.
El equipo de mensajería dice que WeMM-Embedding mostró mejoras consistentes en 14 pruebas A/B en línea.
Los modelos funcionan con la biblioteca Transformers y son compatibles con vLLM y SGLang.
La única limitación de la versión actual es la falta de soporte de audio.
📌
Licencia: Licencia Apache 2.0
🟡
arxiv
🟡
Pesos
🖥
Githib
@ai_machinelearning_big_data