یه مدل که صدا و حرکت بدن آواتار رو با هم میسازه و هر دو رو با دستور متنی کنترل میکنید
🎙️ فرض کنید متن یه دیالوگ از قبل آمادهست و میخواید یه آواتار سهبعدی اون رو اجرا کنه. سؤال دیگه این نیست که «چی بگه»، سؤال اینه که «چطور بگه»: صداش چه حسی داشته باشه و موقع حرف زدن دستها و بدنش چی کار کنن.
مسئله چیه؟
تا امروز کنترل صدا و حرکت از هم جدا بوده. یه طرف TTS (تبدیل متن به گفتار) هست که میتونه دستور لحن رو اجرا کنه ولی بدنی تولید نمیکنه. یه طرف هم مدلهای حرکت که صدای آماده رو ورودی میگیرن. اگه این دو تا رو پشت هم بذارید، یعنی یه Cascade (زنجیرهی پشتسرهم)، ارتباط فقط یهطرفهست: مرحلهی حرکت صدای تمومشده رو تحویل میگیره و دستوری که برای حرکت میدید دیگه نمیتونه روی صدا اثر بذاره. مدلهای تولید همزمان گفتار و حرکت هم بودن، ولی هیچکدوم اجازه نمیدادن هم لحن صدا و هم حرکت رو با دستور متنی تعیین کنید.
یه مشکل دیگه هم داده بود: دیتاستی نبود که برای یه کلیپ هم توضیح حرکت داشته باشه، هم توضیح صدا.
ایدهی اصلی
تیمی از دانشگاه Tsinghua و Tencent اول یه Benchmark (محک) به اسم MotionSpeech ساختن: ۳۴٬۹۵۰ کلیپ ۱۲.۹ ثانیهای (حدود ۱۲۵ ساعت) از دیتاستهای BEAT2 و Seamless Interaction. هر کلیپ چهار تا برچسب داره: متن گفتهشده، توضیح صدا، یه توضیح کلی از حرکت (سطح L1) و یه توضیح ریز که میگه کدوم عضو بدن به چه ترتیبی چه حرکتی میکنه (سطح L2). توضیحهای اولیه رو مدلهای GLM و Qwen3-Omni نوشتن و بعد پالایش شدن.
بعد مدل DuoFlow رو ساختن که یه Flow Transformer (ترنسفورمر مبتنی بر جریان) دوشاخهست. یه شاخه صدا رو میسازه و یه شاخه حرکت بدن رو، هر دو با یه سطح نویز مشترک و یه محور زمانی واحد بر حسب ثانیه. توی هر لایه یه Cross-Attention (توجه متقابل) دوطرفه هست که دو شاخه از حال هم خبر داشته باشن. پس دستور حرکت روی صدا هم اثر داره و برعکس.
برای اینکه گفتار دقیق و به ترتیب متن جلو بره، یه مسیر جدا برای Phoneme (واج) گذاشتن که یه نشونهی «چقدر از جمله جلو رفتیم» بهش اضافه میشه و موقع آموزش با CTC (یه روش همترازی متن و صدا) کنترل میشه. آموزش هم دو مرحلهایه: اول فقط شاخهی صدا روی دادهی گفتاری، بعد هر دو شاخه با هم روی MotionSpeech.
نتیجه چی شد؟
مقایسه با سه رقیب انجام شده: زنجیرهی CosyVoice 2 بهعلاوهی MambaTalk، مدل Match-TTSG و مدل Motion-Omni.
- WER (نرخ خطای کلمه) گفتار DuoFlow برابر ۴.۷۱ درصده؛ زنجیرهی CosyVoice 2 به ۶.۱۲ درصد رسیده و Match-TTSG به ۳۶.۳۵ درصد. شباهت صدا به گویندهی مرجع هم ۰.۹۴ بوده، بالاتر از بقیه.
- کیفیت حرکت با FGD (فاصلهی آماری حرکت ساختگی با حرکت واقعی) سنجیده شده و DuoFlow کمترین عدد رو داره: ۰.۷۵، در مقابل ۲.۶۱ برای زنجیره.
- میزان پیروی حرکت از توضیح متنی برای سطح L1 و L2 به ترتیب ۸۷.۴۳ و ۹۰.۴۰ درصد بوده؛ بقیه بین ۵۳ تا ۶۳ درصد موندن.
- ساختن یه کلیپ ۱۲.۹ ثانیهای به طور میانگین ۱.۳۳ ثانیه طول کشیده؛ سریعتر از زنجیره (۲.۸۲ ثانیه) و Motion-Omni (۵.۰۳ ثانیه).
- توی آزمایش جداگونه، وقتی فقط توضیح حرکت یا فقط توضیح صدا عوض شده، طبق گزارش نویسندهها DuoFlow تنها مدلیه که درست به همون تغییر واکنش نشون داده.
محدودیتها
- Foot Skating (سُر خوردن پا روی زمین) هنوز توی ۲۹.۶ درصد فریمهای تماس پا دیده میشه. این از بقیه کمتره، ولی خود نویسندهها بهتر کردن تماس فیزیکی رو کار بعدی میدونن.
- توی هماهنگی ریتم حرکت با ضرب گفتار، Match-TTSG عدد بهتری گرفته (۰.۰۶ در برابر ۰.۱۴)، و از نظر سرعت هم Match-TTSG با ۰.۳۵ ثانیه از DuoFlow سریعتره.
- مدل فعلاً Streaming (تولید زنده و تکهتکه) نداره و کلیپها طول ثابت ۱۲.۹ ثانیه دارن.
- وزنهای قابلاجرای Motion-Omni در دسترس نبوده، پس مقایسه با اون به اعداد گزارششده تکیه داره.
تاریخ انتشار
۱۶ نوامبر ۲۰۲۶ (۲۵ آبان ۱۴۰۵) روی arXiv منتشر شده. 🕺
#مقاله_علمی #تولید_گفتار #آواتار
🔗 لینک مقاله
🔗 صفحه پروژه