What Does Privileged Information Add to On-Policy Self-Distillation?

Nghiên cứu này điều tra đóng góp của thông tin đặc quyền trong quá trình tự chưng cất trực tuyến (OPSD) cho các mô hình ngôn ngữ lớn. Để cô lập đóng góp này, các tác giả xây dựng AMPLE-Math, một bộ gồm 5,319 bài toán toán học với sáu góc độ suy luận chia sẻ cùng một đáp án. Kết quả cho thấy việc chưng cất không có tham chiếu chiếm phần lớn cải tiến của Qwen3-1.7B dưới đánh giá kích hoạt tư duy, trong khi bằng chứng về lợi ích tham chiếu bổ sung là khá khiêm tốn. Các lợi ích phụ thuộc vào mô hình học sinh được huấn luyện và việc thay thế các lượt sinh phản hồi trực tiếp ngắn bằng các lượt sinh tư duy dài có thể biến mức tăng thành mức giảm. Những phát hiện này cho thấy OPSD cải thiện khả năng truy cập vào các kỹ năng suy luận hiện có thông qua các tham số được chia sẻ.

AMPLE-Math bao gồm một bộ 5,319 bài toán toán học với sáu góc độ suy luận chia sẻ cùng một đáp án.