Smaller Models, Better Rejects: Preference Distillation Scaling

Nghiên cứu này khảo sát quá trình chưng cất ưu tiên (preference distillation) và thách thức giả định rằng các mẫu từ chối phải đến từ các mô hình lớn hoặc do chính sinh viên tự tạo ra. Tác giả phát hiện ra rằng các mô hình nhỏ hơn nhưng đã đóng băng có thể tạo ra các mẫu từ chối với ít chi phí tính toán suy luận hơn nhưng lại giúp huấn luyện các mô hình sinh viên mạnh mẽ hơn trên các tác vụ lập trình và toán học. Dựa trên phân tích giới hạn tiện ích, họ đề xuất các can thiệp như trộn các mẫu từ chối từ mô hình nhỏ và mô hình sinh viên, xáo trộn mã token để giữ cấu trúc nhiệm vụ, và chọn các ứng viên có xác suất thấp hơn dưới chính sách tham chiếu để cải thiện khả năng truyền tải.

Smaller frozen models generate rejects with less inference compute yet train stronger students than self-generated rejects, before and after sequence-level knowledge distillation, on code generation and mathematical reasoning.

Mixing rejects from smaller and student-scale models improves performance as the smaller model's share increases.

Lower-likelihood selections outperform higher-likelihood ones for every source.