Se ha escrito mucho sobre modelos de lenguaje abierto y casi todos los artículos están dedicados a la familiarización o, en el mejor de los casos, a la “luna de miel” del uso. Puntos de referencia, calificaciones de los "mejores modelos del año", pruebas de campo en una tarea, manuales. Con mucha menos frecuencia dicen qué sucede después: cómo se comporta el modelo después de meses de funcionamiento continuo, dónde y por qué comienza a fallar, qué se rompe bajo carga y qué soluciones de ingeniería están reemplazando gradualmente las ideas iniciales sobre "cómo debería ser".
b
WB-Tech
Nos dedicamos a implementar y mantener modelos abiertos y sistemas de agentes en nuestra propia infraestructura, para tareas internas y para clientes. Se trata de la clasificación y enriquecimiento de aplicaciones entrantes, procesamiento de documentos, sistemas de diálogo con herramientas de llamada y otros escenarios donde los LLM pasan a formar parte del proceso de negocio, yendo claramente más allá de las capacidades de demostración del modelo.
La mayoría de nuestros clientes recurren a la implementación local no por curiosidad, sino por necesidad práctica. Para algunos, los requisitos de seguridad prohíben la transferencia de datos a una API externa; para otros, la economía de los modelos de nube ya no resulta atractiva para grandes volúmenes. Por lo tanto, dejaremos fuera de paréntesis la pregunta "¿por qué mantener el modelo en casa?": la confidencialidad de los datos, el costo predecible de los volúmenes y la independencia de la API de otra persona se han convertido desde hace mucho tiempo en un axioma a favor del autohospedaje para una serie de tareas.
Otra cosa es más interesante: qué cambia después de que el modelo comienza a vivir en producción, cuando resulta que la mayor parte del trabajo de ingeniería no está asociado con la elección del LLM y hay que volver a tomar decisiones sobre inferencia, indicaciones, orquestación de agentes, estructura de respuesta, gestión de contexto, parámetros de generación e incluso el almacenamiento de los pesos del modelo.
Leer más
|
@habr_ai