Recientemente, el equipo de Alibaba Tongyi Qianwen lanzó oficialmente una nueva generación del modelo de síntesis de voz en tiempo real Qwen-Audio-3.0-TTS, que promueve la síntesis de voz desde "poder hablar" hasta "poder expresar". Su versión Plus ocupó el primer lugar en el mundo en Speech Arena of Artificial Analysis, la lista autorizada del mundo, y su rendimiento integral ha superado a los modelos convencionales como Gemini3.1TTS y ElevenLabs v3.
Esta versión incluye dos versiones: la versión Flash se centra en la interacción en tiempo real, con un retraso del primer paquete de aproximadamente 300 ms y es adecuada para escenarios de baja latencia, como asistentes inteligentes; la versión Plus se centra en la generación de alta calidad, con mejor naturalidad y restauración del timbre.
Las capacidades centrales han logrado cuatro avances importantes:
En primer lugar, la cobertura multilingüe y dialectal se ha actualizado para admitir 16 idiomas. La versión Plus tiene una similitud promedio de hablantes de 82,75 en los 16 idiomas, lo que la sitúa en primer lugar en la industria. También admite 20 dialectos chinos, evitando el problema del "debilitamiento de las características dialectales" y acercándose a las expresiones de los hablantes nativos.
El segundo es admitir comandos de lenguaje natural de estilo libre, que no requieren anotaciones profesionales. El discurso correspondiente se puede generar con precisión utilizando lenguajes naturales como "tono amable de servicio al cliente" y "estilo de ancla".
El tercero es el control de etiquetas detallado, que admite etiquetas estructuradas como [jadeo] y [enojado], que pueden controlar con precisión detalles no verbales como la respiración y la risa, y adaptarse a escenas como juegos y audiolibros.
En cuarto lugar, es muy resistente a la acústica compleja. Incluso si el audio de referencia contiene mucho ruido y alta reverberación, puede filtrar automáticamente el ruido y retener el timbre, y la calidad de la síntesis es estable.
La biblioteca de sonidos de alta calidad de soporte cubre múltiples tipos de sonidos, como comandos, dialectos y idiomas pequeños. Admite salida de audio de alta definición de 48K (se espera que se abra el 24 de julio) y una sola síntesis admite hasta 3 minutos de texto. Actualmente, el modelo está completamente abierto en la plataforma Alibaba Cloud Bailian y los desarrolladores pueden acceder a la experiencia y explorar conjuntamente nuevas posibilidades de interacción de voz.
vía
información de noticias de IA
(autor: Base de IA)