Context Language Models

Bài báo giới thiệu Context Language Models (CLMs), cho phép LLM quản lý ngữ cảnh bằng cách coi ngữ cảnh như một tệp tin có thể cập nhật trực tiếp. Phương pháp này loại bỏ việc điều khiển từ bên ngoài (external harness control). Kết quả thực nghiệm cho thấy CLM cải thiện đáng kể độ chính xác và giảm lượng FLOPs trên BrowseComp-Plus và EdgeBench. Thêm vào đó, nhóm nghiên cứu đồng thiết kế Suffix Cache Reuse cho việc phục vụ CLM, giúp giảm thêm 35% lượng tính toán phía server so với SGLang tiêu chuẩn.

Đạt độ chính xác cao hơn 11.4% với lượng FLOPs ít hơn 21.5% trên BrowseComp-Plus.

Cải thiện điểm số 5% với lượng FLOPs ít hơn 59% trên 12-hour EdgeBench.

Tăng hiệu năng của Qwen3.5-9B trên BrowseComp-Plus thêm 47.6% trong khi dùng ít hơn 12% FLOPs nhờ reinforcement learning.