دیجی‌نت

آموزشی

Marimba: یه مدل کوچیک گفتار که با یه بار گوش دادن به چند تا سؤال جواب می‌ده

0 بازدید

🎙️ فرض کنید یه دستیار صوتی دارید که هم‌زمان باید چند تا تصمیم کوچیک بگیره: این آدم حرفش تموم شد؟ اسم فلان دارو رو گفت؟ به چه زبونی حرف می‌زنه؟ گوینده عوض شد؟

مسئله

معمولاً برای هر کدوم از این سؤال‌ها یه ابزار جدا می‌ذارن، یا کل صدا رو می‌دن به یه Audio LLM (مدل زبانی صوتی) که برای هر سؤال یه بار جدا متن تولید کنه. گیرش اینجاست که احتمال‌هایی که این مدل‌ها می‌دن Calibrated (کالیبره، یعنی عددی که بشه به‌عنوان درصد اطمینان بهش تکیه کرد) نیست. اگه هم فقط یه Transcript (متن پیاده‌شده) بدید به یه مدل متنی، اسم دارویی که موقع پیاده‌سازی گم شده دیگه برنمی‌گرده.

ایده اصلی

Marimba که از طرف charcot.ai اومده، به‌جای تولید متن آزاد جواب «تایپ‌دار» می‌ده: یا یکی از گزینه‌های مشخص، یا بله/نه، یا یه نمره، همراه با احتمال. پایه‌ش Encoder (رمزگذار) فریزشدهٔ Qwen3-ASR 0.6B هست که هر تیکهٔ ۸ ثانیه‌ای صدا رو فقط یه بار پردازش می‌کنه. بعدش سؤال‌ها سه تا مسیر دارن:

  • سؤال‌های کلمه‌ای، مثل «این کلمه گفته شد؟»، بدون آموزش اختصاصی از روی حدس اصلی و چهار حدس Beam Search (جست‌وجوی پرتویی) مدل ASR (تشخیص گفتار) امتیاز می‌گیرن و بعد کالیبره می‌شن.
  • سؤال‌های غیرکلمه‌ای، مثل وجود صدا یا عوض شدن گوینده، می‌رن سراغ یه Head (لایهٔ خروجی) کوچیک که خود سؤال رو هم ورودی می‌گیره. پایان نوبت هم مستقیم از لایهٔ ۱۸ مدل خونده می‌شه.
  • تشخیص زبان هم از امتیازهای زبانِ خود مدل ASR درمیاد.

نتیجه به زبون ساده

  • تشخیص کلمه روی مکالمه‌های خصوصی AUROC (معیار قدرت تفکیک که ۱ یعنی بی‌نقص) بین ۰٫۸۰ تا ۰٫۹۲ گرفته و روی گفتار خونده‌شدهٔ عمومی بین ۰٫۹۲ تا ۰٫۹۷. برای کلمه‌هایی هم که اصلاً تو آموزش نبودن، امتیازش از کلمه‌های دیده‌شده کمتر نشده.
  • روی ۱۰۰۰ سؤال عمومی، تو تشخیص کلمه روی FLEURS از Qwen3-Omni-30B و Qwen2-Audio-7B جلو زده (۰٫۹۰۱ در برابر ۰٫۷۹۱ و ۰٫۶۸۲). البته Qwen3-Omni روی Speech Commands و تشخیص زبان Common Voice بهتر بوده.
  • تشخیص عوض شدن گوینده روی AMI و VoxConverse بین ۰٫۹۶۶ تا ۰٫۹۸۰ بوده که از ECAPA بالاتره، و تعداد گوینده‌ها رو هم دقیق‌تر از pyannote 3.1 شمرده.
  • پایان نوبت ۰٫۹۳۰ گرفته، در برابر ۰٫۹۸۲ مدل اختصاصی Smart Turn v3.2 روی تست‌ست خودش. روی جلسه‌های ICSI هم دو تاشون عملاً مساوی شدن.
  • سرعتش روی یه کارت NVIDIA L4 حدود ۱۳ میلی‌ثانیه برای پایان نوبت و ۱۶ میلی‌ثانیه برای تشخیص وجود صداست. ⚡

محدودیت‌ها

نویسنده خودش می‌گه تصمیم‌های کلمه‌ای هر اشتباهی که ASR روی اسم‌های کمیاب مثل اسم داروها داشته باشه رو به ارث می‌برن. تشخیص کلمه کندترین مسیره و برای هر سؤال حدود ۲٫۳۵ ثانیه طول می‌کشه. همهٔ Headها تو دسته‌بندی صحنهٔ صوتی CochlScene در حد شانسی جواب دادن. بخشی از تست‌ها هم روی داده‌های خصوصی مشاوره‌های پزشکی به پرتغالیِ برزیل انجام شده که بیرون قابل تکرار نیست. 🧪

📅 تاریخ انتشار: ۱۳ نوامبر ۲۰۲۶ ثبت شده و ۱۶ نوامبر تو فهرست تازه‌های arXiv اومده. کد و وزن‌های مدل هم منتشر شده.

#مقاله_علمی #پردازش_گفتار #تشخیص_گفتار

🔗 لینک مقاله
🔗 کد مقاله

ورود به دیجی‌نت

بازگشت به فهرست بلاگ