RayOrch: Programming and Executing Lineage-Controlled Multi-Grain Dataflows for Foundation-Model Data Preparation

L'article présente RayOrch, un modèle de programmation et un moteur d'exécution distribué conçu pour les pipelines de préparation de données de modèles de fondation. RayOrch préserve les relations parents-enfants et l'ordre d'exécution à l'aide de files d'attente FIFO prêtes par appel pour regrouper les enfants entre les parents. Sur des GPU NVIDIA H20, RayOrch atteint une accélération de 15.14 fois lors du passage de MinerU de 4 à 64 GPU, et réduit le temps global par rapport à Ray Data et Daft.

RayOrch achieves 15.14 times speedup when scaling MinerU from 4 to 64 GPUs and 7.82 times speedup when scaling a video pipeline from 8 to 64 GPUs.

It reduces end to end time by 13.1 percent versus Ray Data and 29.0 percent versus Daft on MinerU, and by 16.0 percent versus Ray Data on Docling.