Game Arena: Strategic LLM Evaluation in Competitive Environments

Les auteurs présentent Kaggle Game Arena, une plateforme ouverte pour évaluer les grands modèles de langage à travers des jeux compétitifs en face-à-face dans des environnements structurés où la force de jeu augmente à mesure que les modèles évoluent, évitant ainsi la saturation des performances. Le rapport détaille l'infrastructure derrière Game Arena et décrit trois environnements de jeu pilotes : les Échecs, le Poker et le Loup-Garou. Couvrant des contextes d'information parfaite, imparfaite et multijoueur, la plateforme permet l'étude systématique de la planification stratégique et de la robustesse.