OpenAI enfrenta críticas por falta de transparencia en puntajes de su modelo O3: ¿Qué revelan los benchmarks independientes?

Discrepancias en benchmarks de IA ponen en duda prácticas de OpenAI

Una discrepancia entre los resultados internos de OpenAI y las pruebas independientes del modelo O3 ha generado debate sobre la transparencia en la evaluación de inteligencia artificial.

Familia de modelos O3 de OpenAI

El caso FrontierMath: de 25% a 10%

En diciembre de 2024, OpenAI afirmó que su modelo O3 resolvía 25% de los problemas en FrontierMath, un conjunto de desafíos matemáticos avanzados. Sin embargo, pruebas recientes de Epoch AI muestran que la versión pública del modelo solo alcanza un 10%.

Comparación de puntajes en benchmarks

¿Dónde está la diferencia?

  • Configuración de pruebas: OpenAI usó versiones internas con mayor capacidad computacional
  • Actualizaciones: Epoch evaluó con la versión frontiermath-2025-02-28-private
  • Modelos distintos: La versión pública está optimizada para uso comercial según ARC Prize Foundation

Contexto de una industria bajo escrutinio

Este caso se suma a críticas recientes en el sector:

«Los benchmarks de IA no deben tomarse al pie de la letra, especialmente cuando provienen de empresas con productos que vender»

Ejemplos de pruebas de razonamiento de IA

Mientras OpenAI prepara el lanzamiento de O3-pro en las próximas semanas, expertos piden mayor estandarización en las métricas de evaluación.

Comparte este artículo

Otras notas de tu interés:

Economia

Paro judicial en México: trabajadores rechazan evaluación con riesgo de despido

Economia

Experto advierte: el cierre de Ormuz dejará una prima de riesgo permanente en la energía

Economia

Mercado libre exige Estado fuerte para frenar la concentración

Economia

Premio Nacional de Salud 2026 destaca la dignidad laboral en México

Economia

Hacienda ajusta el IRPF para proteger el nuevo salario mínimo en España

Economia

Torreón busca ser aduana interior para desahogar frontera

Economia

Gobiernos piden mochilas de emergencia ante tensiones globales

Tecnologia

Apple Watch suma IA para notas y detección de sonidos

Economia

Logística inversa: clave para recuperar ventas en moda

Tecnologia

Dyson V12 Detect Slim baja de precio por tiempo limitado