Нейросеть-эмпат от облачной платформы Yandex Cloud поможет бизнесу лучше понять эмоции клиентов. Алгоритм способен по голосу распознать эмоции человека во время диалога. Новая ML-модель уже может определить негатив, неформальные высказывания и нецензурную лексику, а также пол спикера и его фразы в диалоге. В будущем алгоритм заработает в связке с YandexGPT: вместе нейросети смогут распознать более сложные эмоции, в частности — сарказм.

Нейросеть-эмпат разработана на базе технологии распознавания речи Yandex SpeechKit. С ее помощью компании смогут создавать голосовых помощников и виртуальных операторов колл-центров, которые умеют понимать человеческие эмоции. Это позволит бизнесу улучшить качество аналитики телефонных разговоров, а также лучше адаптировать работу колл-центров под каждого клиента и оперативно реагировать на внештатные ситуации во время диалога.

ML-модель работает в потоковом режиме — расшифровка и анализ эмоций происходит сразу во время разговора. Например, если абонент негативно общается с голосовым помощником, нейросеть может передать информацию об этом во внутреннюю систему заказчика, которая автоматически переключит его на сотрудника колл-центра. Если же оператор нагрубил клиенту, эта система оповестит менеджмент о проблемах во время разговора.

Алгоритм может определять эмоции не только по содержанию речи спикера, но и по голосу — по скорости речи, высоте,тембру и другим параметрам. Нейросеть также определяет пол участников разговора и поддерживает технологию speaker labeling — она отмечает, кому принадлежит та или иная реплика. Это позволяет полноценно работать с одноканальными звуковыми дорожками: например, при записи с диктофона или при технологических ограничениях виртуальной АТС. Кроме того, ML-модель расширяет возможности оффлайн-аналитики: данные от нейросети помогут понять, какие именно темы и формулировки от оператора вызывают негатив у клиента, и позволит оптимизировать сценарии коммуникации.

Вскоре новая модель заработает в сервисе речевой аналитики SpeechSense, который включает в себя технологии Yandex SpeechKit и интегрирован с генеративной нейросетью YandexGPT. Взаимодействие нескольких ML-моделей позволит распознать более сложные эмоции спикера — например, неуверенность или сарказм. Также нейросети смогут оценить, насколько оператор действительно погрузился в проблему клиента, пытался ли помочь решению или старался как можно быстрее завершить разговор.

«При разработке ML-сервисов мы всегда учитываем обратную связь рынка. Один из запросов наших клиентов и партнеров — умение определять эмоции при распознавании речи. Теперь эта функция доступна каждому пользователю. В будущем в рамках сервиса речевой аналитики SpeechSense мы планируем значительно расширить список распознаваемых эмоций и дать возможность клиентам самим выбирать, какие эмоции им необходимо определять», — отметил руководитель ML-сервисов Yandex Cloud Василий Ершов.

Нейросеть-эмпат дополнит семейство языковых моделей Yandex Cloud на основе технологии SpeechKit. Ранее облачная платформа представила нейросеть-полиглота, которая может одновременно распознать 16 иностранных языков: английский, французский, датский, финский, турецкий и другие.