Мы - Центр корпоративных решений Сбера (далее – ЦКР), отвечаем за все виды удаленного обслуживания более чем 3х млн клиентов Банка – юридических лиц и 30 компаний группы Сбер.

Давайте знакомиться! Мы расскажем:

• какие цели ставим перед собой;
• какую роль в достижении этих целей играют знания;
• и как наш продукт, система управления знаниями SBER Help с использованием искусственного интеллекта, помогает достигать наших целей.

Возможность собирать, хранить и распространять знания в компании имеет решающее значение для долгосрочного роста. Наибольшим количеством знаний и мудростью, конечно же, обладают самые талантливые сотрудники. Если представить ситуацию, что по каким-то причинам они покинут компанию, то весь набор знаний может быть утерян.

Поэтому нам важно распространять их между всеми членами команды, где каждый сотрудник для нас талант, который, в свою очередь, участвует в процессе передачи знаний клиентам. В конечном итоге, эффективность этого процесса влияет на продуктивность всей организации.

Знания нужны не только сотрудникам и клиентам, они также являются основным драйвером развития искусственного интеллекта.

Для реализации профита от знаний нами разработана Стратегия управления знаниями, а управляет всеми аспектами работы со знаниями система управления знаниями, которая фактически является коллективным разумом предприятия.

Изначально система управления знаниями Сбера была построена на базе продукта Confluence австралийской компании Atlassian.

В силу высоких рисков эксплуатации Confluence по объективным причинам, а также существенных ограничений по развитию продукта и, как следствие, невозможности реализации бизнес-инициатив, перед командой ЦКР стояла цель разработки собственного решения на платформе Сбера, с автоматизацией всех этапов стратегии управления знаниями. Ведет разработку SBER Help agile-команда ЦКР «База знаний».

Перед командой стояли следующие цели:

• Моделирование решений по всем возможным вопросам клиентов;
• Сокращение времени решения вопросов клиентов за счет быстрого поиска ответов на вопросы клиентов с помощью ИИ;
• Снижение количества ошибок в консультациях за счет своевременного доведения информации до операторов об изменениях в методологии решения вопросов;
• Классификация всей информации с помощью классификатора контактного центра;
• Разработка инструментов оценки качества контента на основе обратной связи от операторов;
• Повышение качества решения обращений за счет каскадирования метрик скорости и качества звонков и чатов на статьи базы знаний;
• Публикация инструкций в различные каналы, в том числе в сервисы самостоятельного решения вопросов клиентами, такие как раздел помощи на сайте и интернет-банк;
• Создание API для получения контента другими автоматизированными системами;
• Поставка данных для обучения моделей чат-бота, голосового ассистента, а также модели co-pilot – помощника в рабочем месте оператора, который формирует готовые ответы на вопросы клиента на базе диалога и данных по продуктам.

Команда ЦКР приступила к реализации решения в начале 2021 года и в конце 2022 года после серии пилотов приняла решение о тиражировании продукта на подразделения банка.

При переезде в новую базу знаний было принято решение не мигрировать, а полностью переработать весь контент под новую стратегию управления знаниями.

На сегодняшний день 100% операторов контактного центра работают в новой базе знаний, которую мы назвали SBER Help. Информация по продуктам 100% компаний группы Сбера перенесена в SBER Help, информация по продуктам банка перенесена на 70%. В планах завершить миграцию всего контента и пользователей в 2024 году.

Доступность.

В контактном центре база знаний используется в более чем 60% звонков и чатов каждую секунду. Критично важно обеспечить операторов контактного центра самой свежей информацией. Задержка в обновлении информации может привести к некорректной консультации, что, в свою очередь, может привести к временным и финансовым потерям клиентов.

Более 3000 изменений вносят редакторы базы знаний в контент ежедневно, в том числе сотрудники группы компаний Сбер. При переходе на SBER Help, реализованный на технологической платформе Сбера, сотрудники группы компаний имеют доступ к базе знаний с помощью единой системы аутентификации сотрудника SberTeamID. Редакторы компаний группы размещают контент по продуктам Экосистемы в единой базе знаний.

Теперь никаких сторонних чатов и множества систем, всю необходимую информацию по продуктам оператор быстро находит в одном привычном ему интерфейсе.

Скорость распространения знаний

При публикации изменений редакторами формируются автоматические новостные релизы, которые агрегируют информацию обо всех изменениях на одной странице. Сотрудники могут ознакомиться со всеми изменениями, которые произошли за предыдущий день.

В базе знаний реализована система уведомлений. В случае инцидентов или произведенных критичных изменениях в инструкциях, редактор может инициировать уведомление сотрудников, имеющих доступ к контенту. А сотрудники, ответственные за распространение информации, с помощью системы мониторинга отслеживают, насколько активно операторы узнают об изменениях.

Таким образом снижается количество некорректных консультаций из-за неверных знаний у оператора.

Скорость поиска

За счет интеграции базы знаний с контекстом звонка и чата, сократилось время поиска информации в базе знаний в 2023 на 6%. Параллельно с разговором оператора и клиента модель автоклассификации ИИ на базе транскрибированного диалога определяет продукт и тематику обращения. База знаний автоматически предлагает подходящие статьи, а также учитывает контекст диалога при использовании оператором поиска по ключевым словам.

Также поиск базы знаний использует накопленную статистику для улучшения ранжирования поисковой выдачи.

Оценка качества контента

При завершении звонка или чата диалог оператора с клиентом оценивается моделью ИИ AutoCSI на предмет корректности разговора, полноты ответа и удовлетворенности клиента решением вопроса. Эта оценка каскадируется на инструкцию базы знаний, которую оператор использовал во время разговора.

На основе этих данных оценивается доля качественных консультаций с использованием инструкции. Если она низкая, редактор выясняет, что именно послужило причиной некачественной консультации, и дорабатывает инструкцию.

Обучение ИИ

Сбер использует модели ИИ для решения вопросов клиентов в режиме реального времени. Это модели чат-бота, голосового ассистента, а также co-pilot в рабочем месте оператора чата. Инструкции решения вопросов постоянно меняются, поэтому важно своевременно доводить новые инструкции не только до операторов, но и дообучать модели ИИ.

В SBER Help реализована онлайн передача измененной информации в модель ИИ, по той же технологии, как поисковые индексы базы знаний обновляются в режиме реального времени при изменении контента.

Генеративные модели для решения вопросов клиентов

Для генерации качественного ответа ИИ моделью необходимо использовать промты. Для этого диалог с помощью модели суммаризации превращают в короткий текстовый запрос, по которому база знаний находит наиболее релевантные статьи. Эти статьи передаются в генеративную модель для формирования окончательного ответа на вопрос клиента.

Первая цель, которая стоит перед командой при реализации нового продукта, это тиражирование продукта.

При старте SBER Help за счет реализованной ролевой модели все пользователи уже имели доступ в систему со своей учетной записью сотрудника. Поэтому в качестве метрики успешного тиража команда считает MAU (Monthly active users). Команда приступила к тиражу в Q2 2023 и в начале Q4 количество ежемесячных активных пользователей превысило 5 тысяч сотрудников.

Операторы не будут заходить в базу знаний, если она не будет приносить им пользу. Пользу приносит размещенный в ней контент. Поэтому вторым KPI является доля размещенного числа инструкций от числа инструкций по всем вопросам клиентов.

Для того, чтобы контент начал появляться в новой базе знаний, редакторы должны быть удовлетворены качеством нового инструмента. Это мы отслеживаем с помощью CSI редактора.

Контент переносится по продуктам, начиная с топ тематик. При переносе продукта в новую базу знаний, в старой базе размещается только ссылке на него, а на стороне ИИ настраивается пуш-уведомление. При получении звонка по одной из перенесенных тематик, модель ИИ на основе транскрибации диалога определяет тематику и отправляет оператору пуш-уведомление в рабочее место, с ссылкой на актуальную инструкцию в новой базе знаний.

На период миграции контента оператор вынужден работать в двух базах знаний. Новая база знаний непривычна, контент изменился, а на стороне старой базы знаний сила привычки. Для оценки удобства работы операторов в новой базе знаний мы оцениваем CSI оператора. Мы увидели, что в период адаптации CSI оператора падает, а после окончания трехмесячного периода адаптации начинается рост.

Переход на новую систему требует адаптации операторов и связан с риском снижения AHT (average handle time). Поэтому перед началом тиража сравниваем текущий AHT и AHT пилотной группы, работающей в SBER Help в разрезе тематик. Видим, что новая система влияет на AHT, но незначительно. Это снижение будет нивелировано после адаптации работы в системе.

Также оцениваем качество работы модели ИИ определения проблемы клиента.

Клиент обращается в контактный центр для решения своего вопроса. В некоторых случаях сам факт обращения уже является эскалацией, так как клиент обращается по проблеме использования приобретенного продукта.

В этом случае клиент ожидает моментальной реакции, решения своего вопроса онлайн при первом контакте.

Оператору необходимо быстро найти правильную инструкцию, правильно интерпретировать материал инструкции в ответ клиенту. Ответ должен быть не просто понятен клиенту, а следование инструкции должно привести клиента к успешному закрытию его потребности или проблемы.

Качественным решением считается быстрое устранение первопричины обращения в контактный центр, отсутствие повторных обращений по этому же вопросу и ответ на вопрос удовлетворенности CSI 5 из 5.

Скорость поиска информации в базе знаний отслеживается командой разработки с помощью системы мониторинга, на базе этих данных планируются доработки.

Простота и понятность контента с точки зрения оператора отслеживается с помощью функциональности оценки статей операторами, а качестве статьи относительно успешности решения вопроса клиента – с помощью каскадирования метрик звонка на каждую инструкцию в базе знаний. Эти данные попадают в отчет, с которым работают редакторы базы знаний. Если по какой-то инструкции низкие оценки клиентов, данная тематика берется в доработку для улучшения клиентского опыта.

Все данные о метриках скорости и качества решения вопросов и используемых операторами инструментах передаются в систему отчетности. На базе отчетов анализируется, какие инструменты позволяют решить вопрос лучше в разрезе каждой тематики. И данные инструменты попадают в рекомендательную систему для оператора.

Банк ставит себе высокоприоритетной целью работу над качеством сервиса. CSI по ЦКР вырос на 8.4 п.п. за 12 месяцев.

Как было сказано ранее, для оценки удовлетворенности сотрудников используется оценка CSI внутреннего клиента.

Важно понимать, что у оператора контактного центра мотивация привязана к ключевым показателям эффективности контактного центра.

Поэтому в первую очередь на оценку CSI влияет возможность просто и быстро найти ответ на вопрос клиента в базе знаний.

Есть ряд причин, по которой у оператора возникают задержки с поиском ответа на вопрос клиента.

• Возникли сложности с выявлением потребности клиента. Оператор не понимает вопроса клиента и не может интерпретировать его в поисковый запрос инструкции. На помощь приходит ИИ. Речь клиента транскрибируется и суммаризуется, передается в качестве поискового запроса напрямую в базу знаний.
• Оператор новичок. Он понял суть вопроса, но в силу недостатка опыта не знает, что и как искать в базе знаний. Он ищет по ключевым словам необходимую инструкцию, и в этом случае на первый план выходит качество работы поискового алгоритма по ключевым словам.
• Опытный оператор. Оператор с большим опытом за короткий промежуток времени вырабатывает механическую память, и действует автоматически. Если в базе знаний произошли какие-то изменения, поменялся интерфейс, структура контента или название страниц, начинают возникать задержки. Поэтому в команде разработки активно применяются все виды UX исследований при реализации продукта. Редакционная политика базы знаний накладывает определенные ограничения при создании контента, которые в свою очередь автоматически контролируются на стороне базы знаний.
• Отсутствие контента. Бывает, что в базе знаний нет нужной статьи. В этом случае у оператора есть инструмент обратной связи, где он может сигнализировать редакторам, что на данный вопрос клиента инструкция не найдена. Такие заявки имеют высокий приоритет в системе тикетов для редактора, у редактора есть SLA на поиск информации по проблеме и размещении контента. После размещения контента, оператор получает обратную связь от редакторов. Всего редакторы обрабатывают порядка 2.5 тысяч заявок операторов на улучшение контента ежемесячно.
• Высокая сложность материала. Оператор быстро находит нужную статью, но не может интерпретировать ее содержание в ответ клиенту. За счет интеграции базы знаний с контекстом звонка для каждого звонка фиксируется информация об использованных инструкциях. Метрики звонка каскадируются на инструкции базы знаний. Если метрики эффективности звонка неудовлетворительные, редактору направляется поручение для оптимизации контента.
• Дублирование и противоречивость информации. В старой базе знаний в силу ограничений ролевой модели приходилось дублировать информацию для разных функций операторов. Это приводило к дублированию информации, и как следствие к ошибкам с обновлением и синхронизацией контента. В новой базе знаний редактор может гибко управлять видимостью контента для функций операторов. Все операторы работают в одном пространстве, но видят только те инструкции, которые они должны видеть в зависимости от направления, навыков и обученности.
• Технические сложности. Или качество работы поиска. Для оценки качества работы поиска в SBER Help реализован мониторинг. На каждом звонке мы отслеживаем время поиска, количество поисковых запросов и позицию необходимой страницы в поисковой выдаче. При внедрении новой функциональности с помощью автоматизированного тестирования и тестового набора данных мы проверяем эти метрики на соответствие целевым показателям.

В команде разработки используется система целеполагания Objectives and Key Results (OKR). В качестве целей стоят конкретные бизнес-инициативы, достижение которых оценивается с помощью бизнес профита для подразделений банка. Совместно с командой разработки над этими задачами работает весь Центр управления знаниями ЦКР, куда входят команды редакторов базы знаний и обучения.

Одна из задач команды базы знаний - повысить скорость и качество решения вопросов клиентов. В этом случае недостаточно только разработать ИТ систему, но необходимо интегрировать ее со всеми продуктами и процессами контактного центра и убедиться, что реализованный продукт достигает поставленных целей.

Команда полностью вовлечена в анализ и понимание всех потребностей операторов, ведет ежедневную работу по сбору обратной связи от пользователей системы.

В команде разработки используется фреймворк LeSS для больших команд с 2х-недельным релизным циклом. Короткий релизный цикл возможен благодаря активному внедрению автотестирования. Поэтому обратная связь от пользователей системы оперативно попадает в бэклог команды, и в течение 2-4 недель улучшения выводятся на пром.

Реализация системы управления выполнена на технологической платформе Сбера с использованием современного тех. стека и инженерных практик. Система прошла проверку нагрузочного тестирования и аудита безопасности с использованием пентестинга (попытка взлома и проникновения сторонней командой).

В этом заключается преимущество SBER Help перед другими системами. Все доработки инспектируются на предмет эффективности работы, в случае необходимости вносятся необходимые изменения для достижения целевого бизнес эффекта.

Нами проведен GAP-анализ функциональности SBER Help, который показал, что функциональность системы превзошла аналогичные решения, представленные на российском рынке.

Также были проведены демо-показы системы базы знаний SBER Help для представителей сторонних компаний. По итогам положительной обратной связи и пожеланий переиспользования опыта Сбера, было принято решение вывода SBER Help на внешний рынок. В октябре 2023 продукт был анонсирован на тематических конференциях.

Команда Базы знаний была отмечена Благодарностью Заместителя Председателя Правления А.Попова за активное технологическое развитие целевого банковского решения SBER Help.