MemoryAthena: Adaptive Routing over Latent and Generated Memories

Bài báo nghiên cứu việc kết hợp bộ nhớ tạo sinh với bộ nhớ truy xuất thông qua phương pháp MemoryAthena. Hệ thống sử dụng ba luồng gồm truy xuất trực tiếp Engram (E), tạo sinh từ gợi ý truy xuất (GE) và tạo sinh từ trạng thái backbone nhân quả (GH). Bằng cách sử dụng E làm mỏ neo, một bộ định tuyến nhân quả nhẹ được huấn luyện dựa trên lợi ích xác suất token tương lai để quyết định khi nào bộ nhớ tạo sinh nên can thiệp thông qua nội suy giới hạn. Kết quả thử nghiệm trên trả lời câu hỏi nâng trung bình năm tác vụ từ 37.65 lên 39.28, trong khi trung bình sáu tác vụ NLP tổng quát tăng từ 76.73 lên 79.13 với hệ thống bộ nhớ chứa khoảng 201M tham số.

MemoryAthena nâng điểm trung bình năm tác vụ hỏi đáp từ 37.65 lên 39.28.

Điểm trung bình sáu tác vụ NLP tổng quát tăng từ 76.73 lên 79.13.

Hệ thống phía bộ nhớ hoàn chỉnh chứa khoảng 201M tham số ngoại trừ phần backbone bị đóng băng.