4986

Генерация ответов для поддержки

Февраль, 2020 год.

Собственный сервис «Долорес» для автоматизации работы с запросами пользователей.

alt

Какую проблему решали

Каждый день в Поддержку ВКонтакте поступает 10 - 15 тыс. запросов (это 4 млн вопросов в год).
В Поддержке работают около 100 сотрудников в режиме 24/7. Количество запросов растет на 16% в год, что требует увеличения штата.
Пользователи обращаются по разным вопросам, которые затрагивают множество тем. Запросы часто требуют сложного анализа и нетривиальных ответов.
Решение проблемы
Специалисты компании разработали собственный сервис по генерации ответов — «Долорес». Он автоматически формирует три варианта ответа на запрос. Агент Поддержки выбирает наиболее подходящий и отправляет его пользователю.
Если ни один из ответов не подходит, то запрос направляется на второй уровень к агентам Поддержки. Система определяет категорию вопроса и передает его сотруднику, отвечающему за это направление.

Детектор троллей выявляет несерьезные вопросы, а «Долорес» умеет шутливо на них отвечать.
Применяемые технологии

Каждый ответ – это не шаблон, а сгенерированное с помощью Natural language processing предложение. За годы работы Поддержка накопилась большая база ответов агентов, на которых обучается модель.

Важное условие — предварительный препроцессинг данных: различная нормализация текстов и Byte-Pair-Encoding токенизация.

Используются:

  • Encoder-decoder transformer модель, реализованная на pytorch
  • Rouge — в качестве тестовой метрики для оценки относительного уровня качества моделей
  • vkcloud — для интеграции в продакшн

Бизнес-процесс

До проекта:

  • Агент самостоятельно выбирает запрос и отвечает на него.
  • Много времени уходит на анализ вопроса и набор ответа.
  • Количество вопросов растет.
  • Пользователю приходится ждать ответ.

После проекта:

  • Система автоматически генерирует подходящие ответы.
  • Сотрудники самостоятельно отвечают только на сложные вопросы.
  • «Долорес» распознает троллей и шутит с ними.
  • Пользователи получают ответы быстрее.

Результаты

ВКонтакте

Даниил Гаврилов
Программист-разработчик
Вадим Жуков
Специалист «Поддержки»
Павел Калайдин
Директор по исследованиям в области искусственного интеллекта
Алина Ламанова
Менеджер проекта
Алексей Панькив
Программист-разработчик
Андрей Соколов
Программист-разработчик
Анастасия Федорова
Руководитель команды «Поддержки»