El modelo Maverick de Meta AI, lanzado el sábado, ocupó el segundo lugar en LM Arena, un benchmark que evalúa preferencias humanas entre respuestas de IA. Sin embargo, investigadores descubrieron inconsistencias críticas: la versión usada en las pruebas no coincide con la disponible para desarrolladores.
«¿Qué es esta ciudad de parloteo?»
– Nathan Lambert, investigador de IA
El uso selectivo de variantes experimentales en benchmarks distorsiona la percepción del rendimiento real. Como señalan expertos: «Si se ajustan modelos específicamente para pruebas, se pierde la capacidad de predecir su comportamiento en aplicaciones prácticas».
Meta no ha respondido oficialmente, pero esta situación reavela el debate sobre transparencia en evaluación de IA. Mientras tanto, desarrolladores exigen acceso a la versión completa de Maverick usada en LM Arena para validar independientemente sus capacidades.
Escrito por:
