OpenAI enfrenta críticas por falta de transparencia en puntajes de su modelo O3: ¿Qué revelan los benchmarks independientes?

Discrepancias en benchmarks de IA ponen en duda prácticas de OpenAI

Una discrepancia entre los resultados internos de OpenAI y las pruebas independientes del modelo O3 ha generado debate sobre la transparencia en la evaluación de inteligencia artificial.

Familia de modelos O3 de OpenAI

El caso FrontierMath: de 25% a 10%

En diciembre de 2024, OpenAI afirmó que su modelo O3 resolvía 25% de los problemas en FrontierMath, un conjunto de desafíos matemáticos avanzados. Sin embargo, pruebas recientes de Epoch AI muestran que la versión pública del modelo solo alcanza un 10%.

Comparación de puntajes en benchmarks

¿Dónde está la diferencia?

  • Configuración de pruebas: OpenAI usó versiones internas con mayor capacidad computacional
  • Actualizaciones: Epoch evaluó con la versión frontiermath-2025-02-28-private
  • Modelos distintos: La versión pública está optimizada para uso comercial según ARC Prize Foundation

Contexto de una industria bajo escrutinio

Este caso se suma a críticas recientes en el sector:

«Los benchmarks de IA no deben tomarse al pie de la letra, especialmente cuando provienen de empresas con productos que vender»

Ejemplos de pruebas de razonamiento de IA

Mientras OpenAI prepara el lanzamiento de O3-pro en las próximas semanas, expertos piden mayor estandarización en las métricas de evaluación.

Comparte este artículo

Otras notas de tu interés:

Economia

Lovable alcanza una valoración de 13.3 mil millones de dólares tras su Serie C de 400 millones

Economia

Terremoto de magnitud 7.4 en Pereira: la región cafetera de Colombia, en emergencia

Economia

Tania Rosa Rodriguez: culpable de fraude a Medicare y denaturalización en Miami

Negocios

Stream de Sandbar: Mina Fahmi y el anillo de voz con IA para capturar ideas

Negocios

Mesh, el CRM personal de Automattic, llega a Android

Economia

Adquisición fraudulenta: Minute Media cancela la compra de VideoVerse y Vinayak Shrivastav es demandado

Politica

Seguridad de las máquinas de votación en EE. UU.: investigadores y negacionistas electorales encienden la polémica

Economia

Made by Google 2026: Pixel 11, Pixel Watch 5 y Pixel Tag, con Gemini como protagonista

Economia

Trump Accounts: la nueva cuenta de inversión para niños que debes conocer

Negocios

Google presenta en Made by Google 2026: Pixel 11, Pixel Watch 5 y Pixel Tag con nuevas funciones Gemini