تشخیص ناهنجاری‌ها و احساسات در گفتار
الگوریتم‌های تشخیص اختلالات گفتاری و احساسات گوینده، همراه با بازخورد آنی به کاربر.
گفتار، جدا از کلماتش، اطلاعات زیادی دربارهٔ گوینده دارد: روانی، ریتم، تلفظ و حالت احساسی. در این پروژه سامانه‌ای ساختیم که صدای کاربر را تحلیل می‌کند، ناهنجاری‌های گفتاری مثل لکنت، کشیدگی و مکث‌های غیرعادی را تشخیص می‌دهد و همان لحظه بازخورد می‌دهد؛ همچنین حالت احساسی گوینده را برای کاربردهایی مثل مرکز تماس تخمین می‌زند.
مسئله
ارزیابی گفتار معمولاً با گوش‌دادن متخصص انجام می‌شود که زمان‌بر است، به جلسهٔ حضوری نیاز دارد و بین ارزیاب‌ها یکسان نیست. تمرین در خانه هم بدون بازخورد، اثر کمتری دارد. برای زبان فارسی ابزار آماده و دادهٔ برچسب‌خورده هم کم است.
راهکار ما
یک خط پردازش گفتار ساختیم که صدا را پاک‌سازی و به قطعه‌های کوتاه تقسیم می‌کند، ویژگی‌های صوتی و زمانی را استخراج می‌کند و با مدل‌های یادگیری عمیق نوع و محل ناهنجاری را تشخیص می‌دهد. نتیجه به‌صورت بازخورد ساده و قابل‌فهم روی صفحه نمایش داده می‌شود و برای متخصص، گزارش دقیق‌تر و روند پیشرفت در طول جلسه‌ها ثبت می‌شود.
سامانه چطور کار می‌کند
- ۱ضبط صدا
صدای کاربر در اپلیکیشن یا وب ضبط می‌شود؛ نویز محیط کاهش می‌یابد.
- ۲قطعه‌بندی
گفتار به واحدهای کوتاه تقسیم و سکوت‌ها و مکث‌ها مشخص می‌شوند.
- ۳استخراج ویژگی
ویژگی‌های طیفی، ریتم، سرعت و تکرار برای هر قطعه محاسبه می‌شود.
- ۴تشخیص
مدل‌های یادگیری عمیق ناهنجاری‌ها و حالت احساسی را تشخیص می‌دهند.
- ۵بازخورد
نتیجه همان لحظه به کاربر نشان داده و در گزارش متخصص ثبت می‌شود.
قابلیت‌های اصلی
- بازخورد آنی هنگام تمرین
- تشخیص لکنت، کشیدگی، تکرار و مکث‌های غیرعادی
- تخمین حالت احساسی گوینده
- گزارش روند پیشرفت در طول زمان برای متخصص
- سازگار با گفتار فارسی
مناسب برای
- گفتاردرمانگران و کلینیک‌های توانبخشی
- اپلیکیشن‌های آموزش زبان و فن بیان
- مراکز تماس برای سنجش کیفیت مکالمه
- پژوهش‌های زبان‌شناسی
نقش آساراد در پروژه
- تعریف معیارهای ارزیابی همراه با متخصصان
- گردآوری و برچسب‌گذاری دادهٔ صوتی
- ساخت و آموزش مدل‌ها
- طراحی رابط بازخورد و گزارش
نتیجه
کاربر می‌تواند در خانه و با بازخورد فوری تمرین کند و متخصص به‌جای ارزیابی دستی هر جلسه، روند پیشرفت را با داده‌های یکسان و قابل‌مقایسه می‌بیند.
نتایج سامانه برای کمک به متخصص است و جای ارزیابی بالینی را نمی‌گیرد.
با یک جلسهٔ مشاوره یا گزارش امکان‌سنجی شروع کنید تا مسیر، زمان و هزینهٔ اجرای آن در سازمان شما روشن شود.