El equipo de investigación publicó
BVD (gran conjunto de datos de vídeo)
. Nació para ofrecer una alternativa a la monopolización de materiales educativos por parte de las grandes empresas tecnológicas y brindar a la comunidad científica acceso a recursos para trabajar con video, audio e imágenes.
El punto de partida fueron 1.300 millones de enlaces de los archivos de CommonCrawl. De ellos, LAION descargó 80 millones de vídeos con una duración total de 10 millones de horas.
Luego, el vídeo se cortó en clips según los cambios de escena y para cada fragmento se generaron descripciones sintéticas de lo que sucedía en la pantalla y el sonido en el cuadro.
Por otra parte, se extrajeron fotogramas estáticos de los vídeos, vinculándolos con momentos de cambio de perspectiva.
Esta colección se diferencia de las colecciones de imágenes habituales en línea: tiene ángulos, movimientos y composiciones que no existen en los bancos de fotografías.
Según los propios experimentos de LAION, los modelos de las arquitecturas ViCLIP y CLAP entrenados en BVD se mantienen al nivel de soluciones avanzadas en puntos de referencia especializados, y la calidad aumenta a medida que aumenta el volumen de datos de entrenamiento.
🟡
¿Qué puedes descargar?
Conjunto de datos
publicado en dos versiones: ligera (solo URL de vídeo y metadatos) y completa (con archivos multimedia).
Ambas opciones se dividen en varios conjuntos:
🟢
BVD-RAW
- los 80 millones de vídeos;
🟠
BVD-V-55M
- 55 millones de clips cortados de BVD-RAW según los cambios de escena;
🟠
BVD-A-1.7M
y
BVD-A-10M
- dos muestras de audio de BVD-V-55M, 1,7 millones y 10 millones de pistas;
🟠
BVD-I-300M
- 300 millones de fotogramas extraídos de BVD-RAW.
La versión lite es gratuita en Hugging Face, pero para acceder a las opciones con archivos multimedia debe completar
cuestionario
.
⚠️
El conjunto de datos se publica únicamente con fines de investigación; el uso comercial está prohibido.
@ai_machinelearning_big_data