Este proyecto estuvo incubado durante mucho tiempo y, al final, comenzó como otro intento de comprender los textos filosóficos escritos por Jane Roberts en la segunda mitad del siglo XX.
Naturalmente, con la llegada de la poderosa IA en la nube, se intentó encontrar "interlocutores de calidad" sobre el tema propuesto. Pero, como ha demostrado la práctica, ¡no hicieron frente a esta tarea de manera brillante! O alucinaron con hechos de conocimiento general o se toparon con los límites de sus conjuntos de datos.
Bueno, lo último que queda es recortar RAG de forma estrictamente estructurada. Y como no había corpus listos para usar en el dominio público, tuvimos que realizar escaneos sin procesar, limpiar los artefactos de reconocimiento y convertirlos a XML adecuado para incrustarlos.
A la fecha ya se ha realizado parte del trabajo. Se ha creado un repositorio en el estado de un registro de investigación, donde se publican scripts de procesamiento sin procesar, un índice ChromaDB preensamblado y una canalización basada en Qwen2.5 + LM Studio.
¿Por qué estoy escribiendo esto? Necesito una auditoría técnica por parte de quienes trabajan más profundamente con bases de datos vectoriales y arquitectura de chatbot. Durante el proceso de montaje surgieron varias preguntas para las que aún no tengo una respuesta clara:
Arquitectura de índice: ¿cómo organizar mejor el almacenamiento en Chroma?
Preservar el contexto del diálogo: ¿cómo implementar adecuadamente el recuerdo de las preguntas anteriores del usuario sin inflar el presupuesto simbólico?
Clasificación SERP: ¿puede un reclasificador (por ejemplo, un codificador cruzado) mejorar la precisión de los textos filosóficos? ¿Y a qué volumen debería empezar esta optimización?
Leer más
|
@habr_ai