OmniHarness: Harnessing Generalizable Visual Generation via Symbolic Policy Learning

Les auteurs présentent OmniHarness, un cadre exploitant l'apprentissage de politiques symboliques pour améliorer la génération visuelle généralisable dans les grands modèles multimodaux et les systèmes multi-agents. Le système abstrait les exécutions vérifiées en politiques symboliques réutilisables, intègre une vérification intermédiaire pour la récupération d'erreurs et effectue des tâches d'entraînement auto-dirigées. Alors que les paramètres du modèle restent fixes, les politiques sont continuellement affinées par les retours d'exécution. Évalué sur six benchmarks, trois dorsales MLLM et trois cadres d'agents visuels, OmniHarness atteint un taux de résolution de 95,0% sur les tâches créatives de ComfyBench, dépassant la meilleure référence de 27,5 points de pourcentage.

OmniHarness atteint un taux de résolution de 95,0% sur les tâches créatives de ComfyBench, dépassant la référence la plus forte de 27,5 points de pourcentage.

Les expériences couvrent six benchmarks, trois dorsales MLLM et trois cadres d'agents visuels.

Les paramètres du modèle restent fixes tandis que les retours d'exécution affinent continuellement les politiques.