کتاب طبقه‌بندی ‏احساسات ‏از ‏طریق ‏گفتار ‏فارسی

فهرست
عنوان صفحه
فصـل اول 17
پيشگفتار 17
فصـل دوم 21
احساس و تأثیر آن بر روی گفتار 21
احساس 21
وابستگی احساس به جنسیت 22
وابستگی احساس به فرهنگ و زبان 23
وابستگی احساس به گوینده 23
کاربردهای تکنولوژی تشخیص احساس 24
مراکز تماس تلفن 24
آموزش مجازی 25
اسباب‌بازی‌های هوشمند 25
استفاده در مسائل امنیتی و حوزه‌های پلیسی 25
تشخیص در علم پزشکی و روان‌پزشکی 25
تشخیص احساس راننده در هنگام رانندگی 26
بازشناسی احساس از روی سیگنال گفتار 26
چالش‌های مربوط به زمینه تشخیص احساس از روی گفتار 28
معرفی سیستم تشخیص احساسات از طریق گفتار 29
مجموعه دادگان 29
استخراج ویژگی 33
انتخاب ویژگی 36
طبقه‌بندی 38
فصـل سوم 55
مطالعات پیشین و معرفی مجموعه دادگان مرتبط 55
معرفی نرم‌افزارهای موفق در حوزه‌‌ی تشخیص احساس از روی گفتار 58
تقسیم‌بندی کارهای انجام‌شده بر اساس دادگان مورداستفاده 59
بررسی دادگان گفتار احساسی موجود به زبان‌های مختلف (غیرفارسی) 59
بررسی دادگان گفتار احساسی موجود به زبان فارسی 62
فصـل چهارم 67
انجام پیش‌پردازش بر روی سیگنال‌های صوتی 67
استخراج ویژگی‌های مورداستفاده جهت آزمایش بر روی روش پیشنهادی 69
نرخ عبور از صفر 70
اسپکتروگرام توان در مقیاس مل 71
ضرایب فرکانسی کپستروم در مقیاس مل 72
ضرایب دلتا MFCC 74
ضرایب دلتا-دلتا MFCC 75
ويژگي کنتراست طيفي 76
ویژگی مركز طيفي 77
ضرایب پهنای باند طیفی 78
ضرایب چرخش طیفی 79
ضرایب تونتز 80
ضرایب انرژی 80
نرمال‌سازی داده‌ها 81
الگوریتم مورداستفاده برای انتخاب ویژگی‌های مرتبط 82
انجام تنظیمات لازم بر روی مجموعه داده قبل از انجام طبقه‌بندی 83
تقسیم‌بندی دادگان به مجموعه آموزش، اعتبارسنجی و تست 83
تشکیل بردار One-Hot 83
طبقه‌بندی 84
ساختار مدل پیشنهادی برای طبقه‌بند SVM 84
روش تحلیل نتایج 87
فصـل پنجم 89
نتایج شبیه‌سازی 89
آزمایش اول 90
نتایج طبقه‌بندی با SVM 91
نتایج طبقه‌بندی با شبکه عصبی پیچشی یک‌بعدی 92
آزمایش دوم 94
نتایج طبقه‌بندی با SVM 95
نتایج طبقه‌بندی با شبکه عصبی پیچشی یک‌بعدی 96
آزمایش سوم 98
مرحله آموزش 98
آزمایش چهارم 101
نتایج طبقه‌بندی با SVM 101
نتایج طبقه‌بندی با شبکه عصبی پیچشی یک‌بعدی 102
آزمایش پنجم 103
نتایج طبقه‌بندی با شبکه عصبی پیچشی یک‌بعدی 104
آزمایش ششم 106
نتایج طبقه‌بندی با SVM 107
نتایج طبقه‌بندی با شبکه عصبی پیچشی یک‌بعدی 107
آزمایش هشتم: بررسی اثر تفکیک جنسیت بین زنان و مردان 112
آزمایش نهم: وابستگی سیستم تشخیص احساس از روی گفتار به زبان گویندگان 114
آزمایش دهم: ارزیابی عملکرد سیستم تشخیص احساس از روی گفتار به صورت عملی 115
فصـل ششم 117
نتیجه‌گیری و کارهای آینده 117
نتیجه‌گیری 118
منـابع و مآخـذ 123
منابع 123

در تعاملات انسانی همیشه ابراز احساسات درونی و درک آن توسط مخاطب بسیار مسرت‌بخش بوده است اما خود انسان نیز در درک این مهم راه ساده‌ای در پیش ندارد. زبان انسانی تنها شامل اطلاعات لغوی نیست و درک کامل جملات بیان‌شده بین افراد مستلزم واقف بودن به‌تمامی ‌ابعاد کلام است. عواطف یکی از اساسی‌ترین و مهم‌ترین این ابعاد است. از طرفی دیگر یکی از ابتدایی‌ترین ابزارها برای برقراری ارتباط و سریع‌ترین و مؤثرترین روش ارتباط بین انسان‌ها گفتار می‌باشد، ازاین‌رو تحقیقات در حوزه تشخیص احساسات از طریق گفتار، یکی از چالش‌برانگیزترین موضوعات دهه‌ي اخیر به شمار می‌آید [1]. احساسات انسان از سه طریق آنالیز تصویر (تغییر حالت چهره)، آنالیز حالت فیزیکی (تغییر حالت فیزیولوژیکی بدن مانند حرکت دست‌ها و پاها) و آنالیز گفتار قابل‌شناسایی است. از این میان آنالیز گفتار به دلیل آنکه سیگنال گفتار یک سیگنال یک‌بعدی است، روشی مطلوب برای تشخیص احساسات محسوب می‌شود. از دیگر ویژگی‌هایی که سیگنال گفتار به سایر سیگنال‌های بیولوژیکی (ضربان قلب، تنفس، فشارخون و …) و سیگنال‌های تصویری ‌ترجیح داده می‌شود، آسانی و مقرون‌به‌صرفه بودن آن می‌باشد. همچنین بسیاری از احساسات فقط می‌توانند از طریق گفتار انتقال یابند؛ همانند انتقال احساس از طریق مکالمه تلفن؛ زیرا در این شرایط تنها روش ارتباطی گفتار می‌باشد [2]. بنابراین ﺳﯿﮕﻨﺎل ﮔﻔﺘﺎر که به‌عنوان ورودي ﺳﯿﺴﺘﻢ‌ﻫﺎي ﺗﺸﺨﯿﺺ اﺣﺴﺎس در نظر گرفته می‌شود، ﻣﯽ‌ﺗﻮاﻧﺪ از کارایی ﻣﻨﺎﺳﺒﯽ ﺑﺮﺧﻮردار ﺑﺎﺷﺪ.
در دهه‌ی اخیر تلاش‌های فراوانی درزمینه‌ی تشخیص احساس از روی گفتار انجام‌شده و پیشرفت‌های زیادی حاصل‌شده است، اما بااین‌وجود هنوز فاصله زیادی بین تعامل طبیعی انسان و کامپیوتر وجود دارد. دلیل این امر این است که کامپیوتر برخلاف انسان نمی‌تواند درک مناسبی از احساسات داشته باشد. درحالی‌که انسان‌ها می‌توانند با استفاده از حواس خود، صداها را بشنوند، محتوای گفتار را درک کنند و واکنش مناسب با شرایط موجود را از خود نشان دهند. ازاین‌رو تشخیص احساس برای کامپیوتر یک امر چالش‌برانگیز است. عوامل زیادی در کارایی سیستم تشخیص احساس از روی گفتار تأثیرگذار هستند، ازجمله استفاده از یک مجموعه داده مناسب به‌عنوان ورودی سیستم، استخراج ویژگی‌های مرتبط با احساسات، انتخاب بهترین ویژگی‌ها از میان ویژگی‌های استخراج‌شده و همچنین به‌کارگیری انواع مختلفی از طبقه بندها. با توجه به موضوعات گفته‌شده، ﻫﻨﻮز اﺑﻬﺎﻣﺎت زﯾﺎدي در زﻣﯿﻨﻪ تشخیص احساس از روی گفتار وﺟﻮد دارد ﮐﻪ توجه بسیاری از محققین را به خود جلب نموده است.
محققین با بهره جستن از این واقعیت که سیگنال گفتار مؤثرترین و سریع‌ترین روش ارتباطی بین انسان‌هاست، تصمیم گرفتند تا از سیگنال گفتار به‌عنوان یک روش سریع و کارآمد برای برقراری ارتباط بین انسان و کامپیوتر استفاده کنند. برای رسیدن به این هدف، کامپیوتر باید بتواند هوشمندانه و به‌صورت خودکار گفتار را تشخیص دهد، اما هنوز این امر کامل محقق نشده، زیرا کامپیوتر برخلاف انسان نمی‌تواند احساس موجود در گفتار گوینده را تشخیص دهد. این چالش سبب به وجود آمدن حوزه‌ای به نام تشخیص احساس از روی گفتار شده است که هدف اصلی آن تشخیص احساس گوینده با استفاده از اطلاعات موجود در گفتار می‌باشد [3]. بنابراین باید تلاش نمود که با استفاده از روش‌هایی نرخ تشخیص احساسات از طریق گفتار را بهبود بخشید. ما در این مطالعه با استخراج ویژگی‌های مؤثر و مرتبط با احساسات، انتخاب بهترین ویژگی‌ها، به‌کارگیری طبقه‌بندی مناسب و درنهایت ‌ترکیب طبقه‌بندی‌های مختلف با استفاده از روش‌های یادگیری ‌ترکیبی، نرخ تشخیص احساسات را بهبود داده‌ایم.