GPT-5 ofrece una ligera ventaja sobre la competencia - en números

GPT-5 ofrece una ligera ventaja sobre la competencia


la siguiente imagen pertenece a OPENAI  



OpenAI afirma que GPT-5 es el más avanzado en varios dominios, superando ligeramente a los principales modelos de IA de Anthropic, Google DeepMind y xAI de Elon Musk en métricas clave. Sin embargo, GPT-5 presenta un rendimiento ligeramente inferior al de modelos de frontera en otras áreas.

En SWE-bench Verified —una prueba de tareas reales de programación extraídas de GitHub— GPT-5 obtiene un 74,9 % en su primer intento. Esto significa que GPT-5 supera apenas al modelo Claude Opus 4.1 de Anthropic, que logró un 74,5 %, y al Gemini 2.5 Pro de Google DeepMind, que alcanzó un 59,6 %.

En Humanity’s Last Exam —una prueba que mide el rendimiento de los modelos de IA en matemáticas, humanidades y ciencias naturales— una versión de GPT-5 con razonamiento extendido (GPT-5 Pro) obtuvo un 42 % al utilizar herramientas. Esto es ligeramente inferior a lo logrado por Grok 4 Heavy de xAI, que consiguió un 44,4 % en la misma prueba.

En GPQA Diamond —un test con preguntas de nivel doctoral en ciencias— GPT-5 Pro alcanzó un 89,4 % en su primer intento, superando a Claude Opus 4.1 (80,9 %) y a Grok 4 Heavy (88,9 %).

OpenAI afirma que GPT-5 es mejor para responder preguntas relacionadas con la salud. En una prueba que mide la precisión en respuestas de IA sobre temas médicos, HealthBench Hard Hallucinations, GPT-5 (con razonamiento) presenta alucinaciones solo en el 1,6 % de los casos. Esto es menor que lo registrado por los modelos anteriores GPT-4o y o3, que obtuvieron un 12,9 % y un 15,8 %, respectivamente.

Aunque los chatbots de IA no son profesionales médicos, millones de personas los utilizan para obtener consejos de salud. Ante este fenómeno, la compañía señala que GPT-5 es más proactivo a la hora de señalar posibles problemas médicos y ayudar a los usuarios a interpretar resultados clínicos.

Además, OpenAI indica que GPT-5 supera a otros modelos de IA en ámbitos más subjetivos y difíciles de medir, como el diseño creativo y la redacción. 

GPT-5 también es más preciso que los modelos anteriores de la compañía, y sufre menos alucinaciones —la tendencia de la IA a inventar información— en comparación con los modelos de la serie o. Las alucinaciones parecían ir en aumento en los últimos modelos de razonamiento de OpenAI, como el o3, y la compañía reconoció previamente que no entendía del todo por qué ocurría.

En respuestas a instrucciones de ChatGPT, OpenAI descubrió que GPT-5 (con razonamiento) alucina y proporciona información incorrecta en el 4,8 % de los casos. Esto supone una reducción significativa respecto a o3 y GPT-4o, que presentan tasas de alucinación del 22 % y 20,6 %, respectivamente, en la misma prueba.

En una métrica que evalúa la capacidad de un modelo de IA para completar tareas simuladas en línea, Tau-bench, GPT-5 muestra un rendimiento mixto. En la parte de la prueba que mide la habilidad de navegar por el sitio web de una aerolínea, GPT-5 obtiene un 63,5 %, ligeramente por debajo del 64,8 % de o3. En otra sección, que mide la capacidad para navegar en sitios minoristas, GPT-5 logra un 81,1 %, por debajo del 82,4 % de Claude Opus 4.1.

OpenAI también afirma que GPT-5 es más seguro que sus modelos anteriores. Si bien los modelos de razonamiento de IA ocasionalmente muestran una tendencia a conspirar contra los humanos o mentir para promover sus propios objetivos, OpenAI encontró que GPT-5 presenta este comportamiento con menor frecuencia que otros modelos. 

 

Comments

Popular posts from this blog

IBM goes big to keep quantum computers cold

IBM - avances en mantener adecuadamente fríos computadores cuánticos.

Estructura multinivel de los sistemas de agentes de IA