Un experimento de control y una hermosa conclusión falsa que casi publicamos
Después del último artículo sobre
¿Por qué los documentos reglamentarios tuvieron que convertirse en un gráfico y no simplemente cargarse en una base de datos vectorial?
, nos preguntaron lo mismo varias veces:
"Y si tomamos GPT u otro modelo superior, ¿realmente no podrá responder preguntas sobre SP y GOST?"
Y recientemente, el mismo argumento se presentó de una forma mucho más dura: en la defensa cara a cara de nuestro proyecto frente a expertos de un programa estatal de subvenciones para IA. La tesis sonaba así: un servicio para trabajar con regulaciones de un equipo pequeño está condenado al fracaso, porque las empresas más grandes invierten desproporcionadamente más en sus modelos y no tiene sentido apoyar el desarrollo de nichos en este contexto.
El argumento es claro y suena convincente. Es inútil discutir con él con palabras: necesitamos datos. Así que considere este estudio como nuestra respuesta integral. A continuación se muestran 3.000 evaluaciones ciegas de lo que los modelos de frontera pueden hacer en códigos de construcción “listos para usar” y qué cambia si se coloca un circuito de búsqueda de agente de dominio encima del mismo modelo.
Simplemente no espere la conclusión "nuestro sistema es el mejor LLM en general": no la habrá. Mostramos algo más: cuando la respuesta debe ser verificable frente a un corpus normativo, el circuito del agente reduce drásticamente el número de enlaces no verificados en el mismo generador.
Al mismo tiempo, le diremos cómo casi nos atrapan nosotros mismos: usando la metodología, no los modelos.
Leer más
|
@habr_ai