ساخت ویدئوی ۵ ثانیهای با صدا تو ۳.۸ ثانیه!
🎬 فکر کنید یه جمله بنویسید و یه ویدئوی ۵ ثانیهای با صدای استریو تحویل بگیرید، اون هم زودتر از اینکه پخش خود ویدئو تموم بشه. پژوهشگرای دانشگاه استنفورد روز جمعه ۳۰ آبان ۱۴۰۵ نسخهٔ ۱.۰ مدل pi-H3 رو با وزنها و کد اجرا منتشر کردن و همین سرعت رو روی کارت گرافیکهای قوی نشون دادن.
قضیه چیه؟
مدل MiniMax H3 یه مدل ویدئوسازه که تصویر و صدای هماهنگ رو با هم میسازه. تیم استنفورد همین مدل رو طوری آموزش داده که بهجای مرحلههای زیاد، ویدئو رو فقط با ۲ یا ۴ مرحله بسازه.
یه تغییر دیگه هم داره. معمولاً آخر کار یه بخش جدا به اسم VAE Decoder (رمزگشای تصویر) خروجی مدل رو به تصویر نهایی تبدیل میکنه. این مدل اون بخش رو کنار گذاشته و توی آخرین مرحله، خودش مستقیم پیکسلها رو میسازه.
سرعتش چقدره؟
طبق اعداد صفحهٔ رسمی پروژه، روی یه کارت گرافیک NVIDIA B200 و با کیفیت ۱۳۴۴ در ۷۶۸ همراه با صدای استریو:
- ویدئوی ۵ ثانیهای: حدود ۳.۸ ثانیه با ۲ مرحله و ۷.۳ ثانیه با ۴ مرحله
- ویدئوی ۱۰ ثانیهای: حدود ۹.۲ ثانیه با ۲ مرحله
- ویدئوی ۱۵ ثانیهای: حدود ۱۸.۶ ثانیه با ۲ مرحله
سازندهها میگن نسخهٔ ۲ مرحلهای بین ۲.۴ تا ۲.۷ برابر از Sol-H3 سریعتره، که یه نسخهٔ سریع ۴ مرحلهای دیگه از همین مدله. اونها توضیح دادن که این سرعت از کم شدن مرحلهها، حذف رمزگشا و فشردهسازی مدل اومده.
روی کامپیوتر خونگی چی؟
سایت ComfyUI Wiki عددهای کارت RTX 3090 رو هم با نسخهٔ ۲ مرحلهای و فشرده منتشر کرده:
- کیفیت ۴۸۰p: ویدئوی ۵ ثانیهای حدود ۱۵.۵ ثانیه و ویدئوی ۱۰ ثانیهای حدود ۳۷ ثانیه
- کیفیت ۷۶۸p: ویدئوی ۵ ثانیهای حدود ۳۸.۵ ثانیه
یعنی اگه کارت گرافیک نسبتاً قوی دارید، میتونید یه ایده رو چند بار با تغییرات مختلف بسازید و زودتر به نسخهٔ دلخواهتون برسید.
چطوری امتحانش کنید؟
- نسخهٔ آزمایشی مدل روی Hugging Face هست و بدون نصب میشه امتحانش کرد.
- وزنها و کد اجرا منتشر شدن و توی ComfyUI هم با افزونهٔ ComfyUI-piFlow کار میکنه.
- کد آموزش مدل هم به گفتهٔ سازندهها بهزودی منتشر میشه.
محدودیتها و نظر تستکنندهها
فعلاً فقط ساخت از روی متن، فریم اول، فریم آخر یا هر دو پشتیبانی میشه و نمیشه تصویر مرجع بهش داد. یکی از تستکنندههای شناختهشدهٔ ComfyUI به اسم Kijai گفته حذف رمزگشا توی تست اون کمتر از یه ثانیه سرعت رو بالا برده و خروجیش یه کم ضعیفتر از حالت معمولی بوده؛ ولی نسخهٔ ۲ مرحلهای معمولی رو «بهترین نسخهٔ ۲ مرحلهای تا الان» بین نسخههای سریع اخیر دونسته. همهٔ عددهای سرعت هم از خود سازندهها و گزارش ComfyUI Wiki اومده و هنوز تست مستقل گستردهای روشون منتشر نشده.
این خبر بر اساس صفحهٔ رسمی پروژهٔ pi-H3 و گزارش ۳۰ آبان ۱۴۰۵ سایت ComfyUI Wiki نوشته شده. 🎥 #تولید_ویدئو #هوش_مصنوعی #ویدئو_با_هوش_مصنوعی