Duplex-MPE: Benchmarking Multi-Party Interaction in Full-Duplex Dialogue

Tác giả giới thiệu Duplex-MPE, một benchmark mới chứa 2,000 kịch bản với 3 đến 4 người nói chuyện cùng một trợ lý nhằm đánh giá khả năng phản hồi hoặc giữ im lặng của mô hình thoại trong hội thoại full-duplex thời gian thực. Các mô hình được cung cấp luồng âm thanh liên tục không có bản phiên âm hoặc ranh giới lượt lời. Kết quả đánh giá trên 5 hệ thống open-weight cho thấy MiniCPM-o 4.5 dẫn đầu ở 3 khả năng được chấm điểm, trong khi một bản tham chiếu Gemini 3.1 Pro dựa trên bản transcript phản hồi thường xuyên hơn 64.3 điểm phần trăm đối với các yêu cầu rõ ràng so với yêu cầu ẩn ý.

MiniCPM-o 4.5 dẫn đầu trên 3 năng lực được chấm điểm trong số 5 hệ thống thoại open-weight được đánh giá.

Tham chiếu Gemini 3.1 Pro dựa trên transcript phản hồi thường xuyên hơn 64.3 điểm phần trăm đối với các yêu cầu tường minh so với yêu cầu hàm ý.