PackLab: A Comprehensive Framework for Developing, Training, and Evaluating MLLMs in Robotic Bin Packing

Nghiên cứu này giới thiệu PackLab, một framework toàn diện được thiết kế để giải quyết bài toán sắp xếp đồ vật bằng robot (robotic bin packing) bằng cách sử dụng các mô hình ngôn ngữ lớn đa phương thức (MLLM). Hệ thống này bao gồm PackLab-Suite (nền tảng mô phỏng vật lý để tạo quỹ đạo huấn luyện), PackLab-VLM (mô hình chuyên biệt theo dõi trạng thái đối tượng và container để ra quyết định khép kín) và PackLab-Bench (bộ đánh giá tiêu chuẩn). Các thực nghiệm cho thấy PackLab-VLM vượt trội hơn các heuristic truyền thống, reinforcement learning thông thường và các MLLM tổng quát.

PackLab-VLM vượt trội hơn các heuristic đóng gói thông thường, phương pháp reinforcement learning truyền thống và các MLLM đa dụng trên các tập đối tượng và cấu hình container khác nhau.