PackLab: A Comprehensive Framework for Developing, Training, and Evaluating MLLMs in Robotic Bin Packing

Ce travail présente PackLab, un cadre complet conçu pour aborder l'emballage robotique de boîtes à l'aide de grands modèles de langage multimodaux (MLLM). Le système comprend PackLab-Suite, une plateforme de simulation physique pour la génération de trajectoires d'entraînement ; PackLab-VLM, un MLLM spécialisé qui suit les états des objets et des conteneurs pour une prise de décision en boucle fermée ; et PackLab-Bench, une suite d'évaluation standardisée. Des expériences approfondies démontrent que PackLab-VLM surpasse les heuristiques conventionnelles, l'apprentissage par renforcement traditionnel et les MLLM à usage général.

PackLab-VLM surpasse les heuristiques d'emballage conventionnelles, les méthodes d'apprentissage par renforcement traditionnelles et les MLLM à usage général à travers divers ensembles d'objets et configurations de conteneurs.