últimos años
Simón Willison
Probé todos los lanzamientos importantes de LLM con el mismo mensaje: "Genere un SVG con un pelícano sentado en una bicicleta".
Esta divertida prueba se ha convertido gradualmente en uno de los puntos de referencia informales de IA más famosos. Las imágenes generadas por Simon de pelícanos en bicicleta se encuentran a menudo entre los comentarios más populares en las publicaciones de Hacker News sobre los nuevos lanzamientos del laboratorio de IA.
Hoy el punto de referencia se ha convertido
razón
serio
discusiones
su utilidad y si los laboratorios de IA la están comparando [la práctica de optimizar los modelos de IA para lograr puntuaciones altas en pruebas comparativas populares]. Cuando hay miles de millones o incluso billones de dólares en juego, y un resultado de calidad puede inclinar a los usuarios hacia su lado, ¿es tentador agregar un poco de Pelicanmaxing al modelo?
Quería probar esto, así que configuré un pequeño experimento: generé 1008 SVG en siete modelos avanzados, los evalué con un juez de LLM y analicé los resultados de Claude Fable 5.
En este artículo hablaré de los resultados. Todo el código está disponible en
GitHub
.
Leer más
|
@habr_ai