Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs

Nghiên cứu đề xuất HeteroForm, một phương pháp truyền tải KV cache chéo họ mô hình cho phép giữ nguyên trạng thái frozen của cả bên gửi và bên nhận. Bằng cách căn chỉnh cấu trúc mô hình, ánh xạ cache của bên gửi sang không gian của bên nhận và hiệu chuẩn nó để bảo toàn hành vi của bên nhận, phương pháp này loại bỏ giai đoạn prefill trùng lặp trong giao tiếp giữa các agent. Kết quả thực nghiệm cho thấy phương pháp này đạt hiệu suất cache-transfer tốt nhất trên cả 4 benchmark long-context, đồng thời đạt tốc độ nhanh hơn 10.7 lần so với Native Prefill và từ 1.18 đến 1.47 lần so với các baseline hiện đại như Dense Latent và KV Ridge ở độ dài ngữ cảnh 32K.

HeteroFold đạt hiệu suất truyền tải cache tốt nhất trên tất cả bốn long-context benchmarks và phần lớn các cài đặt short-context.

Ở độ dài ngữ cảnh 32K, việc truyền tải từ Llama-3.1-8B sang Ministral-3-14B nhanh hơn 10.7times so với Native Prefill.

Phương pháp này nhanh hơn 1.18--1.47times so với các baseline prefill-free tiên tiến nhất là Dense Latent và KV Ridge.