Align Then Reason: A Multimodal Lip-Sync Judge for Dubbing

Les auteurs présentent Align Then Reason (ATR), un évaluateur multilingue de synchronisation labiale qui évalue la qualité du doublage en utilisant uniquement une vidéo muette et du texte candidat. ATR établit un alignement monotone entre les représentations labiales au niveau des images et les unités phonétiques de la ligne candidate, permettant à un LLM de raisonner sur le contenu et le timing. Les résultats sur un benchmark de sept langues montrent des améliorations substantielles de l'AUC moyenne par rapport aux bases de référence.

Sur un benchmark à sept langues, notre méthode améliore l'AUC moyenne par rapport aux bases de référence Qwen3.5 SFT correspondantes de 59,4%, 50,2% et 50,8% avec des raisonneurs 2B, 4B et 9B.

Les gains se généralisent à travers les familles de LLM, atteignant des améliorations de l'AUC moyenne de 45,9% et 46,6% par rapport à la meilleure référence pour LLaMA-3.1-8B et Mistral-7B.

Sur le réclassement des lignes de doublage, ATR-9B surpasse la meilleure référence de lecture labiale de 52,0%, tandis que sur l'affectation de script à clip, ATR-9B s'améliore de 17,7%.