دیجی‌نت

مقاله علمی

چطور Qwen3-TTS یاد گرفت لحنش رو از متن بگیره، نه از نمونه‌ی صدا؟

1 بازدید

🎙️ مدل‌های Voice Cloning (شبیه‌سازی صدا) این روزها با چند ثانیه صدای یه نفر، صداش رو خیلی خوب درمیارن. ولی یه گیر ریز دارن: علاوه بر رنگ صدا، حال‌وهوای همون نمونه رو هم کپی می‌کنن.

مسئله چیه؟

فرض کنید نمونه‌ای که به مدل می‌دید یه جمله‌ی خشک و بی‌احساسه. حالا متنی که می‌خواید خونده بشه پر از هیجان یا غمه، یا وسطش خنده و آه داره. مدل‌های Zero-shot (بدون آموزش جدا برای هر صدا) معمولاً همون لحن صاف نمونه رو ادامه می‌دن و خروجی بی‌روح درمیاد.

تیمی از Alibaba و دانشگاه نانجینگ این رو یه مسئله‌ی جدا دیدن: صدا باید مال همون آدم بمونه، ولی Prosody (لحن و آهنگ گفتار) رو متن تعیین کنه، نه نمونه‌ی صدا. سؤالشون هم این بوده که آیا فقط با Post-training (آموزش تکمیلی)، بدون دست زدن به معماری مدل، می‌شه این رو به Qwen3-TTS یاد داد یا نه.

ایده‌ی اصلی

اول یه دیتاست از جفت‌های «بهتر و بدتر» ساختن. Gemini 3.1 Pro متن‌هایی با احساس، خنده و آه، کلمه‌های خارجی، تلفظ سخت و جمله‌های سؤالی نوشته. برای هر متن یه نسخه با Gemini 3.1 Flash TTS ساخته شده و ده نسخه با خود Qwen3-TTS، و Gemini 2.5 Pro قضاوت کرده لحن کدوم به متن می‌خوره. بعد با SeedVC نسخه‌های خوب رو به صدای ۵۰۰ گوینده‌ی مختلف برگردوندن تا تنوع گوینده‌ها بیشتر بشه.

آموزش هم سه مرحله داره:

  • DPO (بهینه‌سازی مستقیم با ترجیح‌ها): مدل یاد می‌گیره نسخه‌ی پرحس‌تر رو به خروجی خودش ترجیح بده. یه نکته‌ی جالب اینکه SFT (تنظیم دقیق با نمونه‌های آماده) احساس رو بالا برده ولی تلفظ کلمه‌های سخت رو خراب کرده؛ DPO این افت رو نداشته.
  • GSPO (یه روش یادگیری تقویتی): چند تا امتیاز با هم بهینه می‌شن: حس لحن به داوری Gemini، کیفیت صدا، درست خونده شدن کلمه‌ها و شباهت به گوینده.
  • OPSD (خودآموزی از نسخه‌ی قوی‌تر خود مدل): همون مدل یه بار با نمونه‌ی صدای پرحس و یه بار با نمونه‌ی خشک اجرا می‌شه و نسخه‌ی دوم یاد می‌گیره مثل نسخه‌ی اول حرف بزنه. این‌طوری دیگه لازم نیست موقع استفاده حتماً نمونه‌ی پرحس بدید.

نتیجه چی شد؟

📈 روی Benchmark (محک) Emergent TTS-Eval این عددها به دست اومده:

  • امتیاز احساس از ۱۸.۵ به ۸۱.۲ رسیده و امتیاز Paralinguistics (نشونه‌های غیرکلامی مثل خنده و آه) از ۳۸.۴ به ۷۳.۹.
  • روی گوینده‌هایی که موقع آموزش ندیده بود، امتیاز احساس از ۴.۹ به ۷۲.۴ رفته.
  • توی تست شنیداری با ۲۰ شنونده، وقتی هر دو مدل نمونه‌ی صدای خشک گرفتن، شنونده‌ها توی ۶۷.۴ درصد موارد خروجی مدل جدید رو ترجیح دادن و توی ۲۵.۷ درصد مدل پایه رو.
  • خطای خوندن کلمه‌ها توی انگلیسی کمی بالا رفته (از ۱.۲۳ به ۱.۵۵ درصد) و توی چینی کمی پایین اومده (از ۰.۹۷ به ۰.۸۸ درصد).

محدودیت‌ها

⚠️ هزینه‌ی این حس بیشتر، شباهت کمتر به صدای اصلیه. شباهت گوینده توی انگلیسی از ۰.۷۲ به ۰.۵۹ و توی چینی از ۰.۷۷ به ۰.۶۷ اومده پایین، نمره‌ی طبیعی بودن از نگاه شنونده‌ها هم از ۴.۱۵ به ۴.۰۰ رسیده. خود نویسنده‌ها می‌گن حفظ هویت صدا هنوز جای کار داره. داور لحن توی آموزش هم خود Gemini 2.5 Pro بوده که توی ۸۰.۱ درصد موارد با قضاوت آدم‌ها هم‌نظر بوده. همه‌ی آزمایش‌ها هم فقط روی Qwen3-TTS و با ارزیابی انگلیسی و چینی انجام شده.

📅 تاریخ انتشار مقاله در arXiv: ۱۷ نوامبر ۲۰۲۶ (ثبت‌شده در ۱۵ نوامبر)

#مقاله_علمی #تبدیل_متن_به_گفتار #شبیه_سازی_صدا

🔗 لینک مقاله
🔗 صفحه پروژه

ورود به دیجی‌نت

بازگشت به فهرست بلاگ