AngelSpec cubre todo el ciclo:
Capacitación de redactores, optimización e implementación de inferencia acelerada.
.
en el modelo
Hy3-A21B
La arquitectura DFly mostró:
- aceleración de la generación en
1,98–2,40 veces
en comparación con la decodificación autorregresiva;
- crecimiento estable con competitividad de
4 a 64 solicitudes
;
- rendimiento por
10,5–11,8% más
que DFlash.
Se han publicado el código de capacitación, la documentación y los pesos del redactor MTP/DFly listos para usar para Hy3-A21B.
Repositorio:
https://github.com/Tencent/AngelSpec
Artículo:
https://arxiv.org/abs/2607.25852
Documentación:
https://angelspec.readthedocs.io
Modelos: