Andrew Ho, coautor del punto de referencia GeneBench-Pro
izquierda
empresa con el fin de lanzar su propio proyecto.
La startup aún sin nombre generará conjuntos de datos especializados para la formación de LLM.
Según Andrew, los modelos de lenguaje actuales todavía son limitados y sesgados: carecen de datos de alta calidad para dominar problemas prácticos complejos que permitirían que los modelos se entrenaran sin intervención humana.
La solución de Ho es crear conjuntos de datos que se acerquen lo más posible a la investigación científica real, pero con respuestas de referencia que se conozcan de antemano. Esto brindará a los agentes la oportunidad de buscar libremente algoritmos de solución y el sistema:
comprobar de forma automática y precisa su corrección.
La eficacia de este enfoque ya ha sido probada.
GeneBench-Pro
. En esta prueba de biología, el modelo GPT-5.6 Sol Pro pudo resolver sólo el 31,5% de los 129 problemas presentados.
Al principio, la idea de Ho se centrará en la biología, la estadística y el análisis de imágenes reales de laboratorio. Más adelante, la startup planea crear muestras de capacitación para química, ciencia de materiales, medicina y tareas de oficina complejas.
Ho confía en que la falta de datos verificables es el principal problema de la industria, para cuya solución los principales laboratorios pronto gastarán más de 100 mil millones de dólares.
@ai_machinelearning_big_data