SAKI: Maximal-Coupling-Routed Teacher Supervision for On-Policy Distillation

Bài báo giới thiệu SAKI (Supervision Allocation with KL-constrained Interpolation), một phương pháp kết hợp việc sinh chuỗi có hướng dẫn từ giáo viên bị ràng buộc KL với sự ghép nối tối đa (maximal coupling) để định tuyến giám sát cấp độ token trong chưng cất trực tuyến (OPD). Các vị trí được chấp nhận giữ lại giám sát KL ngược của token được lấy mẫu, trong khi các vị trí cần sửa đổi nhận giám sát trực tiếp trên token có xác suất cao nhất của giáo viên. Các tác giả cũng triển khai một trình xác minh suy đoán cư trú trong engine (engine-resident speculative verifier) nhằm bảo toàn phân phối quỹ đạo và ngữ nghĩa ghép nối, đồng thời cải thiện thông lượng triển khai tải phù hợp lên 4,22 lần. Trên bảy benchmark suy luận toán học, SAKI cải thiện mô hình cơ sở ở Mean@8 và Pass@8 cho cả học sinh 1.7B và 0.6B.

SAKI cải thiện thông lượng triển khai tải phù hợp lên 4,22x thông qua engine-resident speculative verifier.

Phương pháp cải thiện Mean@8 và Pass@8 trên bảy benchmark suy luận toán học cho cả học sinh 1.7B và 0.6B.

Xác suất sửa đổi dưới sự ghép nối tối đa bằng chính xác TV(p_t, q_t).