Tencent mostró Hy4-preview: un nuevo modelo de código abierto con parámetros 770B

Arquitectura del Ministerio de Educación:

- 770B parámetros en total

- 49B activos por token

- contexto de hasta 1 millón de tokens

- énfasis en codificación, tareas de agencia y productividad

Utiliza Gated DeepSeek Sparse Attention + IndexCache para reducir el costo del contexto largo y reutilizar índices dispersos entre capas.

Tencent posiciona a Hy4 como un modelo abierto de vanguardia con un costo de lanzamiento asequible.

apache 2.0

🟡

Blog

🟡

Cara de abrazo:

🟡

GitHub

@ai_machinelearning_big_data