Анализ эффективности ML-алгоритмов распознавания эмоций с учетом просодических и спектральных признаков

Заврумов Заур Асланович; Гончарова Оксана Владимировна; Левит Алина Александровна

doi:10.30853/phil20240264

Научная статья
13 июня 2024
Открытый доступ

Анализ эффективности ML-алгоритмов распознавания эмоций с учетом просодических и спектральных признаков

Заврумов З. А.
Гончарова О. В.
Левит А. А.

Прикладная лингвистика
2024. Том 17. Выпуск 6
https://doi.org/10.30853/phil20240264

Аннотация

Цель исследования – определить оптимальный классификатор для идентификации эмоционального состояния на основании результатов сравнительного анализа эффективности различных алгоритмов машинного обучения, основанных на комбинации просодических и спектральных признаков. Научная новизна состоит в применении ML-алгоритмов в распознавании эмоционально-маркированной речи северокавказских билингвов в задаче бинарной классификации наличия или отсутствия акцента с определением оптимальной комбинации универсальных просодических и спектральных признаков. В ходе исследования создан экспериментальный корпус речи представителей трех этногрупп (русских, кабардинцев и армян) с аннотацией степени выраженности акцента, извлечены просодические (94 признака) и спектральные (74 признака) характеристики из речевых сигналов, проведен сравнительный анализ эффективности алгоритмов машинного обучения (логистическая регрессия, k-ближайших соседей, метод опорных векторов, деревья решений) в задаче бинарной классификации наличия/отсутствия акцента. Результаты исследования показали, что на слоговом уровне наиболее эффективной является модель дерева решений с комбинированными признаками, а на фразовом уровне – модель k-ближайших соседей с просодическими признаками. Были выявлены универсальные просодические признаки, составляющие основу «языковой модели эмоций», а также типологические различия в их реализации, отражающие влияние родного языка на эмоциональную речь билингвов.

Источники

Анашкина И. А. Звучащий текст в аспекте культурной аксиологии / М-во общ. и проф. образования РФ. Морд. гос. пед. ин-т им. М. Е. Евсевьева. Саранск: Морд. гос. пед. ин-т им. М. Е. Евсевьева, 1998.
Астахов Д. А., Катаев А. В. Использование современных алгоритмов машинного обучения для задачи распознавания эмоций // Cloud of science. 2018. № 4.
Богданова Д. Р., Акушев А. Т. Распознавание эмоций по речевому сигналу // E-Scio. 2021. № 6 (57).
Вишневская Г. М. Английская интонация (в условиях русской интерференции): учебное пособие / Иван. гос. ун-т. Иваново, 1985.
Воробьева О. В. Просодия имплицитного несогласия в русской речи северокавказских армянских билингвов: экспериментально-фонетическое исследование: дисс. ... к. филол. н. Пятигорск, 2008.
Гончарова О. В. Просодия русского побуждения в условиях кабардино-черкесской интерференции: экспериментально-фонетическое исследование: дисс. ... к. филол. н. Пятигорск, 2008.
Девятков В. В., Алфимцев А. Н. Распознавание манипулятивных жестов // Вестник Московского государственного технического университета им. Н. Э. Баумана. Серия: Приборостроение. 2007. Т. 68. Вып. 3.
Дубовский Ю. А., Воробьева О. В., Гончарова О. В., Мартьянова Е. О., Садовая А. Е., Шишимер Л. Ф. Русская просодия на Северном Кавказе: в 2-х т. / под общ. ред. Ю. А. Дубовского; Федеральное агентство по образованию; Пятигорский государственный лингвистический университет. Пятигорск, 2008. Т. 1.
Ермакова Н. А. Просодия русского восклицания в условиях осетинской интерференции: Экспериментально-фонетическое исследование: дисс. ... к. филол. н. Пятигорск, 2006.
Кантер Л. А. Системный анализ речевой интонации. М.: Высшая школа, 1988.
Кипа Е. В. Просодия русского общего вопроса в условиях кабардино-черкесской интерференции: экспериментально-фонетическое исследование: дисс. ... к. филол. н. Пятигорск, 2003.
Лаврентьева Н. Г. Особенности русско-английской интерференции применительно к акценто-ритмической организации английской речи // Современный билингвизм: теоретические и прикладные аспекты: межвуз. сб. науч. тр. / под ред. Г. М. Вишневской. Иваново, 2008.
Лукова Н. В. Просодия русского специального вопроса в условиях греческой интерференции: Экспериментально-фонетическое исследование: дисс. ... к. филол. н. Пятигорск, 2004.
Мартьянова Е. О. Просодия русского восклицания в условиях Карачаево-Балкарской интерференции: экспериментально-фонетическое исследование на материале реплик с модальностью восхищения: дисс.. к. филол. н. Пятигорск, 2006.
Садовая А. Е. Просодические черты обращения в русской речи северокавказских армянских билингвов: экспериментально-фонетическое исследование: дисс. ... к. филол. н. Пятигорск, 2003.
Светозарова Н. Д. Интонационная система русского языка. СПб.: Изд-во Санкт-Петербургского ун-та, 2006.
Соколова М. А., Гинтовт К. П., Тихонова И. С., Тихонова Р. М. Теоретическая фонетика английского языка. М.: Высш. шк., 1991.
Трубецкой Н. С. Основы фонологии. М.: URSS, 2012.
Фомиченко Л. Г. Когнитивные основы просодической интерфренции: монография. Волгоград: Изд-во Волгоградского ун-та, 2005.
Шишимер Л. Ф. Просодия русской ответной реплики в условиях кабардино-черкесской интерференции: экспериментально-фонетическое исследование: дисс. ... к. филол. н. Пятигорск, 2003.
Bolinger D. A theory of pitch accent in English // Word. 1958. Vol. 14.
Cowie R., Douglas-Cowie Е., Tsapatsoulis N., Votsis G., Kollias S., Fellenz W., and Taylor J. G. Emotion recognition in human-computer interaction // IEEE Signal Processing Magazine. 2001. Vol. 18. № 1.
Ekman P. Universals and cultural differences in facial expressions of emotion. Nebraska symposium on motivation, University of Nebraska Press, 1971.
Liu L., Wei L., Morris Sh., Zhuang M. Knowledge-Based Features for Speech Analysis and Classification: Pronunciation Diagnoses // Electronics. 2023. № 12 (9): 2055. URL: https://doi.org/10.3390/electronics12092055.
McGilloway S., Cowie S., Douglas-Cowie E., Gielen S., Westerdijk M., Stroeve S. Approaching automatic recognition of emotion from voice: A Rough benchmark // Proc. ISCA Workshop on Speech and Emotion. 2000. January.
Pike K. The intonation of American English // University of Michigan Publications. Linguistics, 1. Greenwood Press, 1979.
Shan C., Gong Sh., McOwan Peter W. Facial expression recognition based on Local Binary Patterns: A Comprehensive study // Image and Vision Computing. 2009. № 27.
Yi J., Mao X., Chen L., Xue Y., Compare A. Facial expression recognition considering individual differences in facial structure and texture // IET Computer Vision. 2014. Vol. 8. Iss. 5. DOI: 10.1049/iet-cvi.2013.0171.

Финансирование

Публикация подготовлена в рамках поддержанного РНФ и Министерством образования Ставропольского края научного проекта № 23-28-10124 «Квантитативно-статистическая модель анализа эмоционально-маркированной коммуникации в условиях межэтнических взаимодействий в регионе Кавказские Минеральные Воды».