como era
prometido
en su lanzamiento el viernes, la compañía china
publicado
modelo H3, que realiza videos cortos con sonido a partir de descripciones de texto, imágenes, entrada de video y audio.
El modelo de 33 mil millones de parámetros genera clips de entre 4 y 15 segundos de duración, 24 fotogramas por segundo, con audio estéreo de 32 kilohercios, en relaciones de aspecto que van desde 21:9 panorámico hasta 9:16 vertical. El discurso de los personajes se admite en 11 idiomas, incluidos
ruso
.
El gasoducto completo de H3 consta de tres partes:
🟠
H3-Contexto-IR
analiza la solicitud del usuario con todas las entradas (imágenes, vídeo, audio) y la traduce a un formato interno, con el que luego trabaja el modelo.
🟢
Base H3
Este formato genera vídeo en resolución 768p.
🟠
H3-Regenerado-2K
luego vuelve a compilar el vídeo generado en 2K.
Pero no abrieron todo el sistema, sólo el módulo que es directamente responsable de la generación. H3-Context-IR y H3-Regenerate-2K permanecieron cerrados.
🟡
H3-Base publicado en 2 versiones
H3-Base-FL2VA
Funciona con el primer y último fotograma. Sin imágenes en la entrada, se trata de una generación basada en texto, con una o dos completando el vídeo a partir de un fotograma determinado o entre dos fotogramas.
H3-Base-Ref2VA
acepta entradas mixtas: hasta 9 imágenes, hasta 3 vídeos y hasta 3 pistas de audio, pero no más de 12 archivos en total. El sistema no aceptará sonido sin una imagen o video.
Por
calificación
Análisis artificial, H3 ocupa el primer lugar en edición de video, el segundo en generación de video a partir de texto y el tercero en generación de imágenes.
ComfyUI ha preparado un detallado
instrucciones
para su uso en su entorno y publicó el flujo de trabajo básico para generar
texto
y
referencia
.
Además de ComfyUI, existen libros de cocina para
SGLang
,
vllm
y
difusores
, así como guías rápidas para
base
y
mod de referencia completo
.
La licencia le permite entrenar aún más el modelo utilizando sus propios videos, personajes o estilo visual.
Aún no existe un código oficial para el tren.
⚠️
El uso comercial sólo está permitido para empresas con ingresos inferiores a 20 millones de dólares.
📌
Licencia: Licencia comunitaria MiniMax H3
🟡
modelo
@ai_machinelearning_big_data