VākQA: A Benchmark and Evaluation Study for Telugu Spoken Factoid Question Answering

Tác giả giới thiệu VākQA, một bộ benchmark trả lời câu hỏi nói tiếng Telugu gồm 2.001 cặp câu hỏi-đáp thuộc sáu lĩnh vực, đi kèm 2,53 giờ dữ liệu âm thanh và bản ghi song ngữ. Nghiên cứu đánh giá các phương pháp chấm điểm bằng AI và phát hiện Gemini làm giám khảo xấp xỉ tốt nhất đánh giá của con người, trong khi các mô hình nguồn mở thường phạt nhầm các câu trả lời đúng khác biệt về hình thức bề ngoài. Kết quả cho thấy đầu vào giọng nói gây nhiễu ngữ âm và lỗi chuyển đổi ASR-MT tích lũy nghiêm trọng.

VākQA cung cấp 2.001 cặp câu hỏi-đáp thực tế bằng tiếng Telugu trải rộng trên sáu lĩnh vực với 2,53 giờ âm thanh giọng nói.

Gemini-as-a-judge là phương pháp xấp xỉ tốt nhất đánh giá của con người trong khi các bộ chấm nguồn mở khắt khe một cách có hệ thống.