Learning to Solve Hard Problems in RL for LLMs by Never Giving Up

Nghiên cứu này chỉ ra hiệu ứng Matthew trong học tăng cường (RL) cho các mô hình ngôn ngữ lớn, nơi RL mang lại cải thiện lớn ở bài toán dễ nhưng rất ít ở bài toán khó. Để khắc phục hiện tượng này, các tác giả đề xuất Never Give Up (NGU), một phương pháp lấy mẫu thích ứng tiếp tục sinh mẫu cho đến khi có kết quả đúng. Kết hợp với RL bất đồng bộ, NGU giúp lọc bớt các bài toán dễ và phân bổ nhiều tài nguyên tính toán hơn cho các bài toán phức tạp. Kết quả thử nghiệm trên các benchmark toán học và lập trình cho thấy phương pháp này cải thiện hiệu suất tính toán và giúp mô hình giải quyết triệt để các bài toán khó.

RL shows large improvements on easy problems that an LLM is already good at solving, but small improvements on hard problems.