La memoria se ha convertido en una de las funciones más populares de los sistemas de diálogo y agentes. Si el usuario contacta regularmente con el asistente (para trabajo, consultas, planificación, formación o tareas cotidianas), ya no se espera que el sistema le dé una buena respuesta general. Se espera que tenga en cuenta las interacciones pasadas: recuerde hechos constantes sobre el usuario, no pierda contexto importante, actualice información desactualizada y comprenda exactamente cuándo ocurrió un evento.
Sin embargo, dicha memoria del usuario no suele ser una propiedad incorporada del propio modelo de lenguaje. En los productos de aplicación, a menudo se agrega como una capa separada alrededor del LLM: por ejemplo, a través de un RAG con almacenamiento de datos a largo plazo (bases de datos de memoria vectorial o gráfica, perfiles de usuario, registros de eventos) o esquemas basados en agentes, por ejemplo, un sistema de archivos local en el espíritu de Obsidian en combinación con herramientas de llamada.
Debido a esto, la calidad de la memoria se vuelve menos una cuestión de qué tan bueno es el modelo y más una cuestión de toda la arquitectura: cómo el sistema recupera hechos, qué almacena exactamente, cómo resuelve inconsistencias, si elimina datos a pedido del usuario y cómo utiliza el contexto temporal.
Para el idioma ruso, hasta ahora falta un punto de referencia que pruebe precisamente estos aspectos de la memoria a largo plazo en diálogos de varias sesiones. Es por eso que creamos RUMBA - Russian User Memory Benchmark: un punto de referencia en ruso para analizar la capacidad de los sistemas de diálogo para trabajar con la memoria a largo plazo del usuario en escenarios de conversación realistas.
Leer más
|
@habr_ai