La idea principal: la IA puede funcionar con cualquier aplicación de la misma manera que una persona, a través de una interfaz normal.
Sin:
- DOM del sitio;
- API de una aplicación específica;
- etiquetas de accesibilidad;
- herramientas especiales para cada tarea.
El agente solo recibe capturas de pantalla y controla la computadora mediante clics y pulsaciones de teclas.
Para el entrenamiento utilizamos:
- acerca de
40.000 tareas verificables
;
- casi
100.000 núcleos de CPU virtuales
;
- muchos entornos de software diferentes.
El principal problema de estos agentes son las largas tareas.
Un error al principio puede arruinar todo el guión y, a menudo, el resultado correcto sólo queda claro al final.
Qwen-CUA resuelve esto mediante la memoria visual:
- almacena lo último
20 capturas de pantalla
;
- comprime la historia antigua;
- preserva el contexto de acciones anteriores.
Resultados:
-
OSWorld-Verified: 86,2 puntos
- Los complejos problemas a largo plazo siguen siendo un gran desafío.
La conclusión más interesante:
La captura de pantalla podría convertirse en una API universal para agentes de IA.
En lugar de crear integraciones para cada aplicación por separado, el agente aprende a trabajar con la misma interfaz que usan las personas.
📄
Papel:
https://arxiv.org/abs/2608.02352
Qwen-CUA: uso nativo de la computadora para (casi) todo