LoopVL: Recurrent Visual Intelligence

Les auteurs présentent LoopVL pour étudier l'extension des Loop Transformers aux modèles vision-langage. LoopVL combine un calcul de type Module-Loop et Model-Loop pour mettre à jour de manière itérative un état vision-langage unifié via des modules partagés. Entraîné à partir de zéro par pré-entraînement linguistique, entraînement multimodal et post-entraînement, LoopVL surpasse une gamme de modèles non récurrents de taille similaire ou supérieure sur les benchmarks de compréhension multimodale et de raisonnement visuel. De plus, le modèle présente des Visual Aha Moments caractérisés par des changements prononcés de l'attention visuelle à travers les boucles.