IntBMoE: Integrating Block-Level Conditioning into Expert Composition for Full-Participation Mixture-of-Experts

Bài báo đề xuất IntBMoE, một cơ chế Mixture-of-Experts có điều kiện theo khối nhằm tách biệt ba yếu tố: mức độ tham gia của chuyên gia, chi phí thực thi tính toán và chi phí bộ nhớ hiện thực hóa tham số. Phương pháp kết hợp tổ hợp chuyên gia dày đặc với thực thi khối thưa thông qua một codebook học được và mạng hypernetwork nhẹ. Giao tiếp qua lại được thực hiện bằng cơ chế Dual-Path Residual Gating (DPRG). IntBMoE đã được triển khai thực tế trong hệ thống gợi ý của AMap, phục vụ hàng trăm triệu người dùng dưới mức độ trễ 60ms và đem lại mức tăng UVCTR 2.4%.

IntBMoE tách biệt thành công ba yếu tố tham gia, thực thi và hiện thực hóa tham số trong kiến trúc MoE.

Mô hình được triển khai đầy đủ trong hệ thống gợi ý của AMap đáp ứng ràng buộc độ trễ 60ms.

Thử nghiệm A/B trực tuyến ghi nhận mức tăng 2.4% về chỉ số tương đối UVCTR.