Duplex-MPE: Benchmarking Multi-Party Interaction in Full-Duplex Dialogue

Les auteurs présentent Duplex-MPE, un benchmark contenant 2 000 scénarios avec trois ou quatre locuteurs humains et un assistant pour évaluer les modèles vocaux en duplex intégral. Les modèles reçoivent de l'audio continu sans transcriptions. L'évaluation de cinq systèmes vocaux open-weight montre que MiniCPM-o 4.5 est en tête sur trois capacités notées, tandis qu'une référence Gemini 3.1 Pro basée sur les transcripts répond 64,3 points de pourcentage plus souvent aux requêtes explicites qu'implicites.

MiniCPM-o 4.5 est en tête sur trois capacités notées parmi les cinq systèmes vocaux open-weight évalués.

Une référence Gemini 3.1 Pro basée sur les transcripts répond 64,3 points de pourcentage plus souvent aux requêtes explicites qu'implicites.