All-in-One Multilingual Scene Text Recognition with Script-aware Mixture-of-Experts

Các tác giả giới thiệu TextMuSS-10M, một tập dữ liệu tổng hợp lớn gồm 10 script và 229 ngôn ngữ, cùng với ScriptMoE, một kiến trúc Mixture-of-Experts nhận biết script. ScriptMoE sử dụng một bộ mã hóa hình ảnh chung và thay thế bộ giải mã dày đặc bằng khối sparse MoE sử dụng bộ định tuyến cấp hình ảnh và một chuyên gia chung. Thử nghiệm trên TextMuSS-Bench cho thấy ScriptMoE đạt độ chính xác 82,06%, vượt qua baseline mạnh nhất 1,31%. Trong tác vụ CC-OCR, việc thay thế bộ nhận diện trong PP-OCRv5 bằng ScriptMoE nâng điểm F1 từ 65,71% lên 80,89%, vượt qua VLM tốt nhất với lượng tham số ít hơn đáng kể.

ScriptMoE achieves the highest accuracy of 82.06%, outperforming the strongest STR baseline by 1.31%.

On the CC-OCR end-to-end multilingual task, replacing only the recognizer in PP-OCRv5 with ScriptMoE lifts F1 score from 65.71% to 80.89%, slightly surpassing the best VLM (80.73%) at a fraction of the parameter count.