Al elegir un chat de IA con el que trabajar, muchas personas primero abren las tablas de referencia: MMLU, GPQA, HumanEval, LMSYS Arena. Los números son útiles. Los resultados en ellos responden a la pregunta de qué tan fuerte es el modelo de chat en sí, pero ninguna de estas pruebas muestra qué tan fuerte es el chat en su conjunto, porque el chat no es solo un modelo. El chat es mucho más: un conjunto de herramientas, hardware, búsqueda en Internet, memoria y contexto del chat, y mucho más; de hecho, esta es la razón por la que las personas eligen tal o cual chat para el trabajo o la vida.
Por lo tanto, prácticamente ninguno de los puntos de referencia anteriores responde a la pregunta de qué obtendrá una persona en el navegador. ¿Conseguirá una búsqueda de nuevas fuentes? ¿Descargar un PDF y trabajar con él, o al menos analizarlo cualitativamente? ¿O la respuesta proviene únicamente de una base de datos cerrada, con una cita de página? ¿O editar un archivo nativo de Word que abrirá un abogado? ¿Quizás Excel con fórmulas en vivo que el financiero abrirá y editará?
Leer más
|
@habr_ai