AI - LLMs actuando como agentes sociales.

 


Los benchmarks de LLM todavía evalúan a los modelos principalmente en términos de generación de  código y matemáticas.

Útil, pero limitado.

Para explorar otro eje: la inteligencia social, es decir, la capacidad de jugar un juego multiagente bajo incertidumbre, adaptarse en tiempo real, manejar contextos, inventar estrategias, formar alianzas, manipular y resistir manipulación.

Werewolf es un banco de pruebas natural: basado solo en lenguaje, adversarial, procedimental y socialmente exigente.

Se realizó una primera ronda round-robin con 7 LLMs. Cada par jugó 10 partidas en un entorno controlado, y luego se calculó un ranking Elo. Esto ofrece una clasificación general y, sobre todo, una señal comparable de cómo se comportan los modelos cuando la persuasión, la coordinación y la planificación a largo plazo realmente importan.

El diseño se basa en Werewolf Arena: A Case Study in LLM Evaluation via Social Deduction (Google Research; S. Bailis, J. Friedhoff, F. Chen).

Se amplía esa línea de trabajo con, entre otros:


(i) un protocolo completamente especificado de elecciones de roles y turnos;
(ii) series de enfrentamientos directos, balanceadas por rol, con Elo por rol; y
(iii) indicadores de estrategia social como auto-sabotaje, eliminaciones de lobos en el Día 1, éxito de manipulación, además de instrumentación por mensaje para  generar cambios de voto por medio de la persuasión.

Enfoque de agentes. Los modelos juegan como agentes con herramientas: pueden invocar un conjunto seleccionado de herramientas cuando es apropiado para actuar en diferentes fases.

En este Elo inicial, GPT-5 lidera; GPT-OSS cierra la tabla.

Se comenzó con una configuración simple del juego, costosa en tokens. El objetivo de esta versión es mostrar por qué este benchmark importa y  con adición de APIs, escalar: juegos más largos y complejos, más familias de modelos y un campo más amplio para responder una pregunta: ¿quién puede vencer a GPT-5?

Si quiere ver partidas completas, aquí hay 4 de ellas, jugadas por 5 LLMs diferentes:
github.com/Foaster-ai/Werewolf-bench (puede necesitar una cuenta de acceso a github). 

Comments

Popular posts from this blog

IBM goes big to keep quantum computers cold

IBM - avances en mantener adecuadamente fríos computadores cuánticos.

Estructura multinivel de los sistemas de agentes de IA