دیجی‌نت

آموزشی

یه مدل ۵۵۲ میلیارد پارامتری رو مغز ربات کردن؛ با ۱۰ تا نمونه، از مدل ۲ میلیاردی با ۵۰ تا نمونه جلو زد

0 بازدید

🤖 اگه دیده باشید، مدل‌های غول‌پیکری مثل GPT-6 Astra نشون دادن که می‌تونن ربات رو هم کنترل کنن. ولی یه تناقض جالب این وسط هست: بیشتر مدل‌های رباتیک امروزی هنوز روی مدل‌های پایه‌ی خیلی کوچیک، در حد ۲ میلیارد پارامتر، ساخته می‌شن.

مسئله چیه؟

مدل‌های VLA (بینایی‌زبان‌کنش) یه VLM (مدل بینایی‌زبان) دارن که تصویر و دستور رو می‌فهمه، و یه بخش دیگه که اون فهم رو به حرکت ربات تبدیل می‌کنه. مثلاً GR00T N1.7 از Cosmos-Reason2 با ۲ میلیارد پارامتر استفاده می‌کنه. سؤال این تیم این بود: اگه جای این Backbone (مدل پایه) کوچیک یه مدل در حد مرزهای فعلی بذاریم، ربات واقعاً بهتر یاد می‌گیره یا فقط کندتر و گرون‌تر می‌شه؟

ایده‌ی اصلی

پژوهشگرهای دانشگاه Tsinghua، Peking، Shanghai Jiao Tong و شرکت Galbot مدل DeepSeek-V4.1-Flash با ۵۵۲ میلیارد پارامتر رو به یه DiT (ترنسفورمر انتشاری) وصل کردن که با Flow Matching (تطبیق جریان) آموزش می‌بینه و خروجیش یه Action Chunk (بسته‌ی چندقدمی حرکت) برای رباته.

دو تا نکته‌ی ریز این طراحی رو سبک نگه می‌داره. اول اینکه مدل بزرگ اصلاً متن تولید نمی‌کنه و استدلال کلامی نمی‌کنه؛ برای هر بسته‌ی حرکت فقط یه بار تصویر و دستور رو می‌خونه و ویژگی‌هاش رو به بخش حرکتی می‌ده. دوم اینکه DeepSeek-V4.1-Flash یه MoE (ترکیب متخصص‌ها) هست و برای هر توکن فقط بخشی از پارامترهاش فعال می‌شه. موقع آموزش هم فقط بخش‌های سمت حرکت به‌روز می‌شن.

برای اینکه مقایسه منصفانه باشه، همین ساختار رو با مدل‌های پایه‌ی ۲، ۸ و ۳۲ میلیاردی (Qwen3-VL و Cosmos-Reason2) هم ساختن و همه‌چیز دیگه، یعنی بخش حرکتی، داده و بودجه‌ی آموزش، رو ثابت نگه داشتن.

نتیجه چی شد؟

📊 سه تا توانایی رو سنجیدن:

  • یادگیری با داده‌ی کم: روی LIBERO-Goal با فقط ۱۰ Demonstration (نمونه‌ی نمایشی) برای هر کار، به ۸۷.۸ درصد موفقیت رسیده؛ مدل ۲ میلیاردی با ۵۰ نمونه ۸۵.۶ درصد گرفته. با ۵ نمونه هم موفقیت از ۳۹.۴ به ۷۷.۴ درصد رسیده، یعنی تقریباً دو برابر.
  • تعمیم به شرایط جدید: روی LIBERO-PRO که اشیا و محیط رو به‌هم می‌ریزه، میانگینش ۴۵.۱ درصد شده؛ بهترین مدل کوچیک‌تر ۳۱.۳ درصد. توی آشپزخونه‌های ناآشنای RoboCasa هم با ۱۰۰ نمونه به ۵۴.۹ درصد رسیده، در حالی که بقیه بین ۴۳ تا ۴۶ درصد موندن.
  • کار دقیق روی ربات واقعی: توی کار زدن شارژر به پریز با یه ربات دودسته، که باید شارژر رو برداره، از یه دست به اون دست بده و دقیق جا بزنه، ۹ بار از ۱۰ بار موفق شده؛ مدل ۲ میلیاردی ۴ بار از ۱۰ بار. بیشتر این فرق هم سر جا انداختن دوشاخه بوده، نه برداشتن شارژر.

نکته‌ی جالب، Latency (تأخیر) هست: میانه‌ی زمان هر بسته‌ی حرکت ۲۱۶ میلی‌ثانیه‌ست، در برابر حدود ۱۱۵ میلی‌ثانیه برای مدل‌های ۲ میلیاردی. با این حال روی ربات واقعی، کل کار رو ۱۳ درصد سریع‌تر از رقیب نزدیکش تموم کرده، چون مرحله‌ی جا انداختن دوشاخه رو ۲۸ درصد سریع‌تر انجام داده.

محدودیت‌ها

⚠️ این مدل برای اجرا چهار تا GPU از نوع H200 لازم داره، در حالی که مدل‌های کوچیک‌تر با یکی کار می‌کنن. خود نویسنده‌ها هم می‌گن تأثیر توکن‌های ورودی بیشتر روی تأخیر رو جدا بررسی نکردن. بعضی کارها هم برای همه سخت مونده؛ مثلاً توی کار Assembly از DexJoCo با شرایط کاملاً تصادفی، بهترین نتیجه ۱.۳ درصد بوده. با بیشتر شدن نمونه‌ها هم فاصله‌ی مدل بزرگ و کوچیک روی LIBERO کمتر می‌شه.

📅 تاریخ انتشار مقاله: ۱۶ نوامبر ۲۰۲۶

#مقاله_علمی #رباتیک #هوش_مصنوعی

🔗 لینک مقاله
🔗 صفحه پروژه

ورود به دیجی‌نت

بازگشت به فهرست بلاگ