OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction

Nhóm tác giả giới thiệu OneStreamer, một phương pháp tích hợp ghi lại bằng chứng độc lập với truy vấn và phản hồi tác vụ trong quá trình tạo chủ động cho video trực tuyến. Hệ thống sử dụng bộ nhớ Proactive Hierarchical Caption Memory (PHCM) để tạo chú thích chi tiết cục bộ và tóm tắt sự kiện. Kết hợp với tập dữ liệu OneStreamer-1M chứa hơn một triệu bản ghi, mô hình 4B của họ đạt kết quả vượt trội trên tám benchmark hiểu video trực tuyến.

Tập dữ liệu OneStreamer-1M bao gồm hơn một triệu bản ghi đa dạng tác vụ.

Mô hình 4B đạt kết quả tốt nhất trên cả tám benchmark hiểu video trực tuyến được đánh giá.

PSTL vượt trội hơn giám sát trạng thái dày đặc trong khi chỉ giám sát 27,5% số token trạng thái được chú thích.