Learning from Teacher Continuations at Student States

Bài báo giới thiệu OLIVE (OnLine InterVEntion), một phương pháp chắt lọc trực tuyến khắc phục các hạn chế của SFT ngoại tuyến và chắt lọc cấp độ token. Tại mỗi vòng lặp, chính sách học sinh đang tiến hóa tạo ra một tiền tố (prefix), mô hình giáo viên tiếp tục sinh tự hồi quy từ đó, và học sinh được cập nhật bằng entropy chéo tính trên các token do giáo viên tạo ra. Triển khai bất đồng bộ giúp giảm 23.8% tổng thời gian huấn luyện của OLIVE. Đánh giá trên các tác vụ lý luận khó và tác vụ agent, OLIVE liên tục vượt qua các phương pháp chắt lọc cũ dưới cùng ngân sách, đồng thời cải thiện 13% so với SFT ngoại tuyến khi huấn luyện trên ScienceWorld với dữ liệu từ GPT-5.4-mini.

Việc triển khai bất đồng bộ giúp giảm 23.8% tổng thời gian huấn luyện của OLIVE.

OLIVE cải thiện 13% so với SFT ngoại tuyến từ cùng một giáo viên trên tác vụ ScienceWorld.

Phương pháp này tiếp tục cải thiện ngay cả sau khi quá trình chắt lọc ngoại tuyến đạt điểm bão hòa.