دیجی‌نت

مقاله علمی

مدل‌هایی که با نقاشی فکر می‌کنن!

0 بازدید

🧩 یه دسته از مدل‌های Multimodal (چندوجهی) جدید وقتی می‌خوان یه مسئله‌ی فضایی رو حل کنن، فقط با متن فکر نمی‌کنن؛ وسط استدلالشون عکس می‌کشن. مثلاً مسیر یه هزارتو رو روی تصویر می‌کشن، یا یه مدل ویدئویی کل راه‌حل رو فریم‌به‌فریم نشون می‌ده.

مسئله چیه؟

هر کدوم از این «فکرهای تصویری» با همون برنامه‌ی Denoising (نویززدایی مرحله‌به‌مرحله) ساخته می‌شه که برای عکس‌های واقعی و پرجزئیات طراحی شده؛ یعنی حدود ۵۰ مرحله. نتیجه‌ش اینه که بیشتر زمان اجرا پای همین نقاشی‌ها می‌ره. طبق مقاله، توی ThinkMorph یه تصویر فکری ۴۹ مرحله‌ای بیشتر از نصف زمان حل یه مسئله‌ی برنامه‌ریزی فضایی رو می‌گیره، و توی Wan-R1 ساختن یه ویدئوی ۱۹۳ فریمی با ۵۰ مرحله نزدیک سه دقیقه روی یه کارت گرافیک طول می‌کشه.

تیمی از دانشگاه نانجینگ از اینجا شروع کرده که فکر تصویری فقط باید اون‌قدر واضح باشه که مدل بتونه ازش استدلال کنه. پس با یه بودجه‌ی مشخص، بهتره مدل یه نقاشی تمیز بکشه، چند تا طرح سریع بزنه، فقط با متن فکر کنه یا اصلاً مستقیم جواب بده؟

ایده‌ی اصلی

اول با آزمایش‌های کنترل‌شده بررسی کردن هر فکر تصویری واقعاً چه نقشی داره. مدل، ورودی و متن قبل از تصویر ثابت مونده و فقط نحوه‌ی ساخت تصویر عوض شده: با مرحله‌های کمتر، با نویز تازه، حذف کامل تصویر، یا گذاشتن نویز خام و بوم خالی جای اون. سه حالت دیدن:

  • فکرهای تعیین‌کننده: نقشه‌ی حل توی خود تصویره. روی محک VSP اگه تصویر رو حذف کنید، دقت ThinkMorph از ۷۲.۲ به ۲۴.۲ درصد می‌افته.
  • فکرهای تزئینی: جواب قبلاً توی متن معلوم شده و تصویر فقط همراهشه. روی چند محک مثل MMVP و ChartQA حذفشون دقت رو حداکثر ۲ واحد جابه‌جا کرده و زمان رو نصف کرده.
  • فکرهای مضر: روی VStar حذف تصویر دقت رو از ۵۸.۱ به ۶۴.۹ درصد بالا برده.

یه نکته‌ی جالب دیگه اینکه نقشه‌ی حل خیلی زود توی تصویر شکل می‌گیره: یه Sketch (طرح سریع) ۸ مرحله‌ای تقریباً همون دقت تصویر کامل ۴۹ مرحله‌ای رو داره.

بر همین اساس دو تا پیشنهاد دادن:

  • انتخاب سطح فکر کردن: با فقط ۱۰ نمونه‌ی برچسب‌دار برای هر مدل و هر مسئله، بین «جواب مستقیم»، «فکر متنی» و «نقاشی» یکی انتخاب می‌شه.
  • Sketch-and-vote (طرح بزن، رأی بگیر): جای یه نقاشی کامل، چند تا طرح ۸ مرحله‌ای از نویزهای مختلف کشیده می‌شه تا وقتی یکی از جواب‌ها سه رأی بیاره. طرح‌های ویدئویی که به هدف نمی‌رسن هم خودشون کنار می‌رن و رأی نمی‌دن. هیچ‌کدوم از این دو روش آموزش اضافه لازم نداره.

نتیجه چی شد؟

📈 این عددها توی مقاله گزارش شده:

  • روی ۱۴ ترکیب مدل و محک، «جواب مستقیم بدون هیچ فکری» توی ۹ مورد بهترین بوده. انتخاب سطح با ۱۰ نمونه، میانگین دقت رو از ۶۰.۷ درصد (همیشه نقاشی) به ۶۵.۱ درصد رسونده.
  • روی VSP، مدل ThinkMorph با طرح و رأی و ۳۹ مرحله به ۸۰.۳ درصد رسیده؛ در حالی که با یه نقاشی کامل ۴۹ مرحله‌ای ۷۱.۷ درصد بوده.
  • روی هزارتوها، Wan-R1 حدود ۹.۶ واحد بهتر شده و VideoRLVR از ۶۴.۷ به ۸۶.۸ درصد رسیده.
  • بیشترین بهبود مال مسئله‌های سخت‌تر بوده؛ مثلاً روی جدول‌های ۸ در ۸ توی VSP، دقت از ۴۷ به ۶۹.۳ درصد رفته.

محدودیت‌ها

⚠️ رأی‌گیری فقط وقتی جواب می‌ده که اشتباه‌ها از یه نویز به نویز دیگه فرق کنن. روی Sokoban، مدل Wan-R1 مدام همون مسیر غیرمجاز رو تکرار می‌کنه و طرح و رأی فقط با مرحله‌های کمتر به همون دقت نقاشی کامل می‌رسه؛ اونجا یه بررسی قانون‌های بازی لازم بوده تا بهبود برگرده. اینکه کدوم سطح فکر کردن بهتره هم به مدل و مسئله بستگی داره و برای انتخابش همون ۱۰ نمونه‌ی برچسب‌دار لازمه. آزمایش‌ها هم روی چند مدل مشخص مثل ThinkMorph، Wan-R1 و VideoRLVR انجام شده و بخش طرح و رأی بیشتر روی مسئله‌های فضایی مثل هزارتو و Sokoban سنجیده شده.

📅 تاریخ انتشار مقاله در arXiv: ۱۸ نوامبر ۲۰۲۶ (ثبت‌شده در ۱۶ نوامبر)

#مقاله_علمی #هوش_مصنوعی_مولد #استدلال_تصویری

🔗 لینک مقاله

ورود به دیجی‌نت

بازگشت به فهرست بلاگ