Game Arena: Strategic LLM Evaluation in Competitive Environments

Tác giả giới thiệu Kaggle Game Arena, một nền tảng mở nhằm đánh giá các mô hình ngôn ngữ lớn (LLM) thông qua các trận đấu đối đầu trực tiếp trong môi trường trò chơi có cấu trúc để tránh tình trạng bão hòa hiệu suất. Báo cáo kỹ thuật này mô tả cơ sở hạ tầng phía sau Game Arena cùng với ba môi trường trò chơi thí điểm gồm Cờ vua, Poker và Ma sói, bao trùm các bối cảnh thông tin hoàn hảo, thông tin không hoàn hảo và nhiều người chơi. Nền tảng này giúp nghiên cứu một cách có hệ thống khả năng lập kế hoạch chiến lược, thích ứng và độ bền bỉ của mô hình trong điều kiện bất định dựa trên đánh giá quy mô lớn có căn cứ thực tế.