Continual Learning Mechanisms Compose for Long-Horizon Memorization

Bài báo nghiên cứu hiện tượng ghi nhớ dài hạn, trong đó mô hình học 100 tác vụ hỏi đáp thông qua tinh chỉnh giám sát liên tục mà không lưu giữ dữ liệu cũ hay nhận mã định danh tác vụ. Tác giả tổ chức các cơ chế chống quên theo hai chiều thiết kế gồm các mỏ neo dữ liệu, hàm và trọng số kết hợp với quy tắc phân bổ hạng thấp. Qua các thử nghiệm nhân tố trên ba bộ dữ liệu 100 tác vụ, phương pháp tốt nhất kết hợp tất cả các mỏ neo với LoRA hợp nhất giúp nâng tỷ lệ lưu giữ trung bình cuối cùng từ 1,2% lên 34,9%, tương đương mức cải thiện 28 lần.

Phương pháp kết hợp tất cả ba mỏ neo với LoRA hợp nhất nâng tỷ lệ lưu giữ trung bình cuối cùng từ 1,2% lên 34,9%, đạt mức cải thiện 28 lần so với tinh chỉnh tuần tự thông thường.