Всем привет! Меня зовут Антон Гусев.

В той или иной мере с клиентами я работаю уже 10 лет. И все 10 лет стараюсь сделать жизнь клиентов проще, а наш сервис лучше.

Начинал я свой путь с оператора банковского контакт-центра, а последние 3 года руковожу направлением «Сценарии и разметка данных» чат-бота ВТБ. Безусловно, у чат-бота есть свои показатели, которые отличаются от показателей операторов. Какие-то из них влияют на бизнес-результаты, другие — на клиентский сервис. Именно о взаимодействии с клиентом, выстраивании доверительных отношений и создании положительного впечатления от общения с банком мне хочется рассказать.

Для нас главной задачей является качественно определить проблему клиента, провести его «за руку» к решению или предложить альтернативные варианты. Такие показатели, как доля негатива, качество распознавания вопроса клиента, скорость обновления сценария стали для нас зеркалом клиентских эмоций.

Цель команды, которая стала моей личной целью, — чтобы у клиента не оставалось вопросов после консультации чат-бота, а все проблемы были решены.

Первое впечатление влияет на дальнейшую коммуникацию. А наш бот является первым «окном» при общении с банком. Если клиент остался недоволен решением вопроса, падает его доверие к бренду. Наша задача — снижать негатив и оставлять исключительно положительные эмоции от взаимодействия с чат-ботом.

Что мы для этого делаем

Команда сценариев отвечает за основные показатели эффективности бота: автоматизацию, долю негатива и качество распознавания запроса.

Практически на все эти метрики влияет своевременное обновления сценария — набора тем, которые знает и распознает бот. Раньше мы следовали двухнедельному релизному циклу. Но в процессе работы пришли практически к ежедневному обновлению сценария. (См. слайд 9). Это позволило быстрее реагировать на изменения в запросах клиентов и предоставлять им актуальную информацию.

Если говорить о качестве распознавания запроса, мы и здесь пересмотрели метрики. Изначально в команде был фокус на автоматизации — то есть на количестве сессий, которые закрывал чат-бот самостоятельно, без перевода на оператора. Целеполагание понятно: чем больше диалогов ведет бот и чем реже привлекается человек, тем лучше для бизнеса — банк экономит!

Но мы заметили, что клиенты не всегда остаются с ботом, получая правильный ответ. А степень их удовлетворенности и доверия к бренду падает. Мы пересмотрели приоритеты и сфокусировались на метрике качества. Теперь команда уделяет больше внимания тому, чтобы бот правильно распознавал запросы клиентов. Сотрудники вручную проверяют большой объем сессий, анализируют запросы и дорабатывают алгоритм распознавания.

Чем качественнее распознается запрос, тем больше шансов, что клиент попадет в нужную тему. А значит вопрос будет решен автоматически, и оператор не будет задействован.

Такой подход влияет на лояльность клиентов: доля негатива очень низкая по рынку — 2,7%.

Таким образом, команда сценариев способствует удержанию клиентов и повышению их удовлетворенности.

А с точки зрения бизнеса — экономит банку 2,5 млрд рублей в год, снижая нагрузку на контактный центр. Это связано с тем, что бот теперь может самостоятельно решать более широкий спектр запросов, что позволяет операторам сосредоточиться на сложных темах.

Чтобы оценить операционную эффективность, нужно понимать, какие процессы проходят в команде и из каких этапов они состоят.

1. Обработка входящего потока информации: обновления условий по продуктам, запуск новых сервисов и акций.
2. Проверка существующего сценария на актуальность данных: ставок, пользовательского пути и условий оформления продуктов.
3. Редактура текстов. Отправка ТЗ редактору, контроль задач и согласование ответов.
4. Загрузка сценария: задача — распределить ветки между сценаристами и загрузить новую информацию в соответствии с техническими требованиями.
5. Тестирование ответов.
6. Релиз сценария на клиентов.
7. Анализ сессий.
8. Формирование бэклога по результатам анализа.

Чтобы все это работало, мне нужно было выстроить регулярные процессы в команде. Мы поставили на рельсы обновление сценариев, настроили внутреннюю разметку тем и сбор аналитики.

Сейчас аналитики ежедневно направляют сценаристам полученные данные с описанием того, как изменение сценария повлияет на клиентов.

Сценаристы вносят доработки. Происходит автотест сценария. По итогам автотеста доработки отправляют релиз-менеджеру. А он, в свою очередь, делает обновления.

Так выглядит регулярная работа с плановым релизом сценария чат-бота раз в 2 недели. Кроме этого, мы построили систему внерелизов, когда нужно мгновенно обновлять данные по срочным изменениям в работе банка. Это никак не влияет на плановую работу — процессы существуют параллельно.

Помимо настройки процессов, я поработал с качеством распознавания запросов. Если раньше мы определяли качество по количеству вопросов, которые правильно распознал бот, то теперь мы отслеживаем это на 3 уровнях.

1. Прямой вопрос в чате — когда клиент сам формулирует свой запрос.

Чтобы упростить написание запроса, мы ввели предиктивный ввод, уже привычный во многих поисковиках и сервисах, надклавиатурные кнопки с подсказками, а также меню в чате для быстрого попадания в популярные сценарии. Благодаря этому клиент меньше ошибается и экономит время, а бот лучше распознает запрос.

2. Контекстные кнопки.

При попадании в тему клиент видит перечень самых популярных запросов в другие темы и может нажать на актуальную.

3. Скрытые контексты — третий шаг в повышении качества.

Самая проблемная и трудозатратная часть бота — распознавание открытых вопросов.

Только по открытым вопросам мы делаем более 5000 доработок в месяц: корректируем паттерны (формулировки, которые используют клиенты при обращении), чтобы в следующий раз точнее отвечать клиенту.

В результате этих изменений качество распознавания запроса выросло до 85%. Это сократило количество неправильных ответов на 20% и повысило лояльность клиентов.

Как уже писали выше, все наши действия направлены на улучшение пользовательского опыта и повышение лояльности клиентов.

Это и количество релизов, и время выхода сценария в продакшн, и повышение качества распознавания ответов, и непосредственно работа над ответами бота, которые мы стараемся делать максимально понятными и наглядными.

Мы провели качественные и количественные исследования, которые показали, каким клиенты хотят видеть бота, какой стиль общения для них близок и понятен. И параллельно с этим проанализировали исследования рынка, в частности от компании Markswebb, которая сформулировала основные принципы оценки чат-бота.

1. Давать оптимальный объем информации — самый короткий ответ для решения задачи.
2. Просто подавать информацию.
3. Адаптироваться под запрос.
4. Персонализировано подавать контент.
5. Быть вежливым.
6. Эффективно реагировать на негатив.

В 2023 году мы сформулировали и обновили tone of voice Помощника ВТБ в соответствии с этими принципами, а также с оглядкой на ожидания наших клиентов.

Это позволило переработать сценарий бота, сделав ответы более понятными, а также привести его к стилистическому и визуальному единообразию. Все это снижает когнитивную нагрузку у клиента и работает на основную цель – улучшение клиентского опыта.

Мы заботимся о клиенте не только с точки зрения повышения качества ответов чат-бота. Мы также используем проактивную коммуникацию в чате — рассылки.

Предвосхищая проблемы и вопросы пользователей, мы сами отправляем им сообщения в чате. Например, напоминаем обновить приложение. Конверсия в прочтение таких сообщений доходит до 70%. Таким образом, рассылки повышают информированность клиентов и позволяют снизить количество обращений в контактный центр.

Одна из основных метрик, которые мы отслеживаем, это доля негатива. Потому что лучшим источником оценки бота для нас является клиент. У него есть возможность не только поставить оценку обслуживанию, но и оставить отзыв.

Все негативные оценки мы размечаем: проверяем качество шагов клиента, смотрим, насколько правильные ответы ему предоставлены, оцениваем взаимосвязь между тематиками. После этого вместе с командой устраиваем брейншторм — думаем, чего не хватило клиентам для решения проблемы, что можно улучшить и как помочь достичь цели. На основе этого делаем выводы и рекомендации по изменению сценария и повышению лояльности пользователей.

Отдельно анализируем отзывы, которые клиенты оставляет в чате. Обратную связь о работе чат-бота мы обрабатываем самостоятельно, а рекомендации по улучшению продуктов и услуг банка передаем в продуктовые команды. Они анализируют отзывы на своей стороне и применяют в разработке продуктовых предложений.

В этом году у клиента появилась возможность ставить реакции на сообщения в чате. «Лайки» и «дизлайки» помогут нам собирать еще больше данных о клиенте и точечно влиять на изменение ответов. (См. слайд 4).

Помимо собственного канала сбора обратной связи, мы используем и все доступные публичные источники: СМИ, соцсети, отзывы в магазинах приложений.

Если при анализе этих источников мы видим общую проблему, мы берем ее в работу.

В банке мы работаем по методу agile и синхронизируемся с командой на регулярных встречах. Например, каждое утро у нас проходят дейли — 15-минутные встречи с сотрудниками, где мы обсуждаем итоги предыдущего дня и в моменте решаем наболевшие задачи.

Кроме того, еженедельно мы устраиваем груминги — обсуждения инструментов и возможностей развития чат-бота. Поводов для груминга множество: обсудить наболевший вопрос, выбрав наилучший клиентский путь; решить, какие темы ввести в сценарий и как его оптимизировать.

Есть и более глобальная стратегическая задача: сформулировать видение команды, направление, по которому должен идти бот. Например, давать ли короткие консультации и отправлять на страницу с подробной информацией или замыкать все на себе. Среди задач в том числе — определить круг ограничений, в рамках которого мы живем: например, во взаимодействии с сервисами банка, с интерфейсами. За счет такой синхронизации внутри мы выставляем требования другим командам, чтобы бот эффективнее взаимодействовал с клиентом.

Казалось бы, развитие сценария состоит в простой актуализации информации по продуктам банка. Но это не так. Мы все время отслеживаем пользовательское поведение и заметили, что с момента создания бота паттерны клиентов изменились. Раньше самые популярные запросы были односложными: «баланс», «карта». Люди пользовались чатом как поисковой строкой. Сейчас запросы переросли в полноценную разговорную речь и звучат, например, так: «как изменяются мои условия при досрочном погашении». Видно, что люди стали больше доверять роботам в обработке сложных запросов. А некоторые даже не отличают, бот с ними разговаривает или оператор. Из-за такой динамики мы тоже меняем подход к написанию правил по распознаванию.

Постоянное обновление нашего видения на грумингах дает возможность выступать не только как исполнители, но и как заказчики обновлений сценария, которые принесут большую пользу клиентам.

Постоянный анализ пользовательских сессий и отслеживание новостей позволяет предвосхищать тренды и будущие доработки. Так, например, произошло с кейсом объединения ВТБ и банка «Открытие». Предвосхищая пользовательскую активность, мы собрали клиентские запросы и создали темы, которые будут на них отвечать. И только спустя 2 недели, после того как мы выпустили новый сценарий на клиентов, к нам пришел запрос на создание ответов по этой теме. Коллеги были приятно удивлены такой скоростью time2market в нашей команде.

Конечно, никто не знает банковские продукты лучше, чем команды, которые эти продукты непосредственно развивают.

Поэтому мы пришли к формату ревью: сценаристы направляют каждому подразделению сценарий чат-бота; коллеги проверяют темы, которые к ним относятся, вносят правки и рекомендации. Тем самым мы вовлекаем коллег из розничного бизнеса в совершенствование нашего продукта. А клиент получает актуальные ответы и самую последнюю информацию по услугам банка.

Помимо этого, наша команда всегда открыта к «заказам» со стороны. У нас есть инструменты для коммуникации с клиентом. Почему бы не помочь коллегам?

Например, недавно к нам пришли с задачей от Центробанка: проинформировать клиентов о передаче их биометрических данных в государственную систему. Мы предложили сделать рассылку на клиентов, у которых есть эти данные в банке. Если клиент не хотел делиться биометрией, мы собирали отказы и передавали в регуляторный орган.

Таким образом мы помогли команде «Единая клиентская идентификация» в сборе информации, а 30 000 клиентов своевременно получили уведомление.

Напрямую отвечая за качество, команда сценариев должна обладать полной информацией обо всех продуктах и сервисах банка. Это гарантирует актуальность сценариев для клиентов.

Чтобы этого добиться, мы поделили весь сценарий из 1600+ тем на тематические блоки: например, «карты», «кредиты», «акции» и т.д. Каждый сценарист изучает запросы клиентов по теме, знает все формулировки и варианты, которые пишут в чат люди, и регулярно обновляет паттерны.

Таким образом, я вырастил кросс-функциональную команду, где каждый член команды равноценно отвечает за повышение качества сценария.

Другой аспект инноваций в нашей команде заключается в креативном подходе к решению технических задач.

В 2023 году у нас возникла задача перейти на новую чат-бот-платформу. При изучении этой платформы мы сразу же отметили для себя опцию машинного обучения, которое позволяет выделять сущность вопроса клиента с помощью алгоритмов искусственного интеллекта.

Всего за полгода мы завершили переезд на новую платформу. В результате команда:

• переработала и актуализировала клиентские пути;
• перенесла 1600 тем сценария в 10 каналах обслуживания;
• перенесла 50+ интеграционных сценариев — операций, которые клиенты могут совершать в чате, включая перевод через СБП, установку ПИН-кода и блокировку карты.

Для обучения искусственного интеллекта команда подготовила 600 тематик. В новой гибридной модели, основанной на симбиозе правил и машинного обучения, распознавание намерения пользователей работает в 1,5 раза точнее, чем раньше. Также машинное обучение позволило распознавать 2 вопроса клиента в одном сообщении. Например: «Где заплатить за интернет и ЖКУ». (См. слайд 5).

В будущем возможности новой чат-бот платформы в отношении искусственного интеллекта позволят улучшить решение задач клиента.

При смене фокусировки на качественные показатели в оценке бота мы не потеряли основную бизнес-метрику — автоматизацию. У чат-бота ВТБ самая высокая автоматизация на рынке — 85%. Это напрямую влияет на то, что клиент в диалоге не переходит на оператора и при этом остается доволен качеством обслуживания. Бот дает моментальные ответы, ждать человека не приходится. Благодаря этому у клиента появляется желание вернуться в чат при возникновении любых вопросов. А удовлетворенность обслуживанием повышается.

За счет повышения качества сценария мы видим постоянный рост клиентской базы. За 2023 год мы вырастили ее на 37%. (См. слайд 13)

Выстроить правильные процессы и пересмотреть метрики мне помог продуктовый курс «Управление проектами». В ходе прохождения курса от ФРИИ я внедрил лучшие практики в работу. Например, сместил фокус с бизнесовых метрик на клиентские. Благодаря этому мы получили результат, который отражается в текущих показателях. Например, упали в доле негатива с 3,3% до 2,7%. (См. слайд 15).

Пожалуй, одной из лучших практик в нашем подразделении является самостоятельное проведение исследований и опросов. У нас есть готовый инструмент для сбора обратной связи от клиентов — собственный чат-бот. Мы можем проводить опросы по качеству обслуживания или программировать более сложные исследования.

Так мы напрямую общаемся с нашими пользователями и снижаем расходы на исследования.

В следующем году мы планируем проводить опросы по качеству бота ежеквартально.

Благодаря работе моей команды в 2023 году клиенты стали больше доверять чат-боту. Это отразилось на цифрах:

• 45% — доля обращений в чат от всех обращений в контактный центр;
• 2,7% — доля негатива;
• 85% — автоматизация. Бот решает 8 из 10 проблем клиентов.

Я горжусь тем, что работаю над развитием чат-бота ВТБ и вношу свой вклад в поддержку клиентов. Уверен, что наш продукт упрощает коммуникацию с банком. А в следующем году станет еще более полезным.

Мы планируем увеличить базу знаний чат-бота и масштабировать алгоритмы машинного обучения. Это позволить повысить качество распознавания вопросов до 90%.