دستیار صوتیتون وقتی زنگ میزنه، از کجا بفهمه آدم جواب داده، پیغامگیر یا یه هوش مصنوعی دیگه؟
📞 وقتی یه Voice AI Agent (دستیار صوتی هوشمند) خودش به کسی زنگ میزنه، اولین سؤالش اینه: کی گوشی رو برداشت؟ ممکنه یه آدم واقعی باشه، یه Voicemail (پیغامگیر)، یه IVR (منوی تلفنی گویا) یا این روزها یه هوش مصنوعی دیگه که جای صاحب خط جواب میده.
مسئله چیه؟
سیستمهای معمولی AMD (تشخیص پیغامگیر) فقط یه جواب دوحالته میدن: آدم یا ماشین. این طراحی مال مرکز تماسهای قدیمیه که براشون فرقی نمیکرد کدوم ماشین جواب داده. ولی یه دستیار صوتی برای هر حالت باید یه کار جدا بکنه: برای پیغامگیر پیام بذاره، توی منوی IVR راهش رو پیدا کنه، یا با یه هوش مصنوعی دیگه یه گفتوگوی کوتاه داشته باشه. با یه برچسب دوحالته نمیشه این سه تا رو از هم جدا کرد.
نویسندهها که از تیم Observe.AI هستن، ۱۰۰۰ تماس تصادفی از سیستم تماس خروجی خودشون رو بررسی کردن: ۴۸.۱ درصد آدم واقعی جواب داده بود، ۴۴.۶ درصد پیغامگیر، ۶.۹ درصد یه هوش مصنوعی و ۰.۴ درصد IVR.
ایدهی اصلی
مقاله FEND صدای طرف مقابل و متن زندهی حرفهاش، یعنی Transcript (متن پیادهشده)، رو همزمان میخونه و برای هر کدوم از سه حالت ماشینی یه Detector (آشکارساز) جدا داره. پیشفرض اینه که آدم جواب داده؛ یعنی تا وقتی یکی از آشکارسازها مدرک مثبت پیدا نکنه، طرف آدم حساب میشه. آخرش هم حداکثر تا ۲۰ ثانیه بعد از برداشتن گوشی یه برچسب واحد برمیگردونه.
برای پیغامگیر چند تا نشونه کنار هم کار میکنن: صدای Beep (بوق) آخر پیغامگیر، عبارتهای آشنایی مثل «بعد از بوق پیغام بذارید» توی متن، و یه Tool (ابزار) روی همون LLM (مدل زبانی بزرگ) که داره خود مکالمه رو پیش میبره. برای IVR هم یه ابزار مشابه روی همون مدل تعریف شده.
برای تشخیص هوش مصنوعی رفتن سراغ ریتم حرف زدن. ASR (تشخیص گفتار) خودش زمان شروع و پایان هر کلمه رو میده و از روی همین، فاصلهی بین کلمهها و سرعت حرف زدن طرف رو درمیارن. آدم برای فکر کردن و نفس کشیدن مکث میکنه، ولی صدای ساختگی یهنفس میره جلو. یه مدل Logistic Regression (رگرسیون لجستیک) ساده روی هفت تا از همین شاخصهای زمانی تصمیم میگیره.
نتیجه چی شد؟
- روی یه Benchmark (محک) عمومی، بخش پیغامگیر به دقت ۱۰۰ درصد رسیده و حتی یه بار هم آدم واقعی رو اشتباهی ماشین حساب نکرده. در مقابل، AMD نرمافزار Asterisk بین ۳۰ تا ۶۶ درصد آدمها رو اشتباه برچسب میزنه.
- برای تشخیص هوش مصنوعی، ویژگیهای Acoustic (صوتی) وقتی شرایط ضبط عوض میشه دیگه جواب نمیدن، ولی زمانبندی گفتار جواب میده و به ROC-AUC (سطح زیر منحنی ROC) برابر ۰.۹۵۲ رسیده.
- روی تماسهای واقعی، جدا کردن آدم از هر نوع ماشین به امتیاز F1 برابر ۰.۹۷۹ رسیده و فقط ۲.۹ درصد آدمهای واقعی برچسب ماشینی گرفتن؛ همون خطایی که برای دستیاری که بر اساس این برچسب تصمیم میگیره از همه گرونتر تموم میشه.
محدودیتها
- همهی دادههای داخلی مال یه برنامهی تماس خروجیه، پس این درصدها وضعیت کل بازار رو نشون نمیدن. ردیف IVR هم فقط روی دو تا تماس استواره.
- همهی هوش مصنوعیهایی که دیدن از یه نوع بودن: Call Screener (غربالگر تماس) با شروع اسکریپتی، که به نظر میرسه همه از یه محصول اومدن. هیچ نمونهی واقعی از منشی هوشمند یا Agent (عامل) شخص ثالث نداشتن.
- نتیجهی زمانبندی به ASR خودشون وابستهست و فقط روی آدمهایی سنجیده شده که جملهی اولشون حداقل چهار کلمه داشته.
- خود نویسندهها میگن هنوز دیتاستی از تماسهایی که واقعاً یه عامل هوشمند جواب داده باشه وجود نداره و ساختنش قدم بعدیه.
تاریخ انتشار
۱۳ نوامبر ۲۰۲۶ (۲۲ آبان ۱۴۰۵) روی arXiv منتشر شده و برای کنفرانس EACL 2027 فرستاده شده. 🎧
#مقاله_علمی #دستیار_صوتی #تشخیص_گفتار