Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge

Nghiên cứu khám phá việc mở rộng tính toán khi suy luận (test-time computation) cho các mô hình lý luận nhỏ (sRMs) vốn có chi phí phục vụ thấp. Tác giả phát hiện ra rằng việc tự tinh chỉnh (self-refinement) thường củng cố xác suất vào các giải pháp đã có sẵn thay vì mở ra đường đi mới, dẫn đến hai chế độ lỗi: thắt cổ chai thực thi và thắt cổ chai kiến thức. Để giải quyết, họ giới thiệu FlyBy, một khung truy vấn chọn lọc giúp mô hình tự chẩn đoán và gọi các mô hình lớn hơn khi gặp giới hạn kiến thức. Phương pháp này kết hợp SFT và RL có ý thức về chi phí để quyết định thời điểm và nội dung cần hỏi, đạt hiệu suất cao với chi phí phục vụ thấp hơn.

FlyBy-4B đạt 45.96% pass@8 trên 1,158 bài toán khó qua 6 benchmark, vượt qua Qwen3-14B (41.64%) với chi phí phục vụ thấp hơn 2.7 lần.

FlyBy-4B vượt qua Qwen3-8B về chỉ số pass@1 (16.85% so với 15.31%).

Việc mở rộng quy mô lên FlyBy-8B cải thiện điểm pass@8 lên 51.81%.