La idea es que las capacidades multimodales se conecten al agente como
conjunto de herramientas
y no estaban codificados en un modelo específico.
Un agente que se ejecuta dentro de Claude Code, Codex, Qwen Code, Gemini CLI u otro arnés puede detectar por sí mismo la capacidad requerida, llamarla e integrar el resultado en un flujo de trabajo más largo.
El repositorio de GitHub está organizado como una colección de complementos/capacidades individuales.
Por ejemplo, el complemento básico brinda al agente herramientas como:
- leer_imagen
- leer_video
- visualizar
-OCR
- puesta a tierra del objeto
- segmentación
- transcripción de voz
- recortando
Es decir, en lugar del diagrama:
agente → un modelo multimodal
resulta:
agente → conjunto de herramientas multimodales especializadas → cadena de acciones
Por ejemplo, un agente puede:
1. leer la imagen;
2. encontrar el objeto deseado;
3. recortar un área específica;
4. ejecutar OCR;
5. comparar el resultado con el vídeo;
6. transcribir audio;
7. reúne todo en una sola respuesta.