JEPA-Anything: Learning Predictive Models across Different Worlds

Tác giả giới thiệu JEPA-Anything, một framework không phụ thuộc vào lĩnh vực dựa trên phân rã dự đoán trực giao (OPF) để mở rộng các kiến trúc dự đoán nhúng chung (JEPA). OPF phân rã các mục tiêu tiềm ẩn thành các yếu tố bổ sung, học chúng qua các đường dẫn chuyên biệt và kết hợp lại trong một thiết kế dự đoán chia sẻ. Thử nghiệm trên bảy lĩnh vực gồm thị giác, sinh học, quỹ đạo lâm sàng, điều khiển, động lực học phân tử, trường vật lý và thời tiết cho thấy JEPA-Anything cải thiện các chỉ số trên cả 10 nhiệm vụ động lực học, giảm 34.8% lỗi dự đoán can thiệp đơn lẻ trên Interventional Pong, đồng thời đạt sai số phân tử một bước và 100 bước thấp nhất trên cả bốn hệ thống.

JEPA-Anything cải thiện các chỉ số báo cáo trên tất cả 10 nhiệm vụ động lực học so với các baseline JEPA tương đương.

Giảm 34.8% lỗi dự đoán can thiệp đơn lẻ trên Interventional Pong.

Latent orbital modes khôi phục được số mũ tỷ lệ Keplerian với độ dốc được khớp là -1.4991.