RayOrch: Programming and Executing Lineage-Controlled Multi-Grain Dataflows for Foundation-Model Data Preparation

Bài báo giới thiệu RayOrch, một mô hình lập trình và engine thực thi phân tán được thiết kế để xử lý dữ liệu chuẩn bị cho foundation models. RayOrch duy trì mối quan hệ cha-con và thứ tự trong suốt quá trình thực thi bằng cách sử dụng các hàng đợi FIFO sẵn sàng theo từng cuộc gọi để gom nhóm các phần tử con trên các phần tử cha khác nhau. Trên GPU NVIDIA H20, RayOrch đạt tốc độ nhanh hơn 15.14 lần khi mở rộng MinerU từ 4 lên 64 GPU, và giảm thời gian tổng thể đáng kể so với Ray Data và Daft.

RayOrch achieves 15.14 times speedup when scaling MinerU from 4 to 64 GPUs and 7.82 times speedup when scaling a video pipeline from 8 to 64 GPUs.

It reduces end to end time by 13.1 percent versus Ray Data and 29.0 percent versus Daft on MinerU, and by 16.0 percent versus Ray Data on Docling.