Plataforma de referencia independiente Vals
presentado
Vals-Smith es una herramienta para generar automáticamente puntos de referencia personalizados basados en el código base del usuario.
Vals-Smith le permite probar modelos y agentes según las características específicas de sus propios proyectos, sin depender de tablas de clasificación públicas. La herramienta admite repositorios públicos y privados.
El sistema analiza los repositorios de GitHub y extrae problemas de los RP aceptados.
Cada tarea incluye una descripción del problema, pruebas ocultas y un entorno reproducible. El modelo recibe el código antes de realizar cualquier cambio (el parche en sí está oculto).
Para una solución exitosa, el sujeto debe pasar pruebas ocultas y no romper la lógica de la aplicación existente.
El acceso a la plataforma es otorgado por
aplicaciones
. Hay resultados de demostración de pruebas de modelos populares sobre problemas de códigos fuente.
linux
,
Siguiente.js
,
SGLang
y
chispa
.
@ai_machinelearning_big_data