24 сентября 2024

BSS реализовала суммаризацию для речевой аналитики и базы знаний на нейросети Т5, не требующей GPU

Решение реализовано на нейросети T5, умеющей обрабатывать вводную информацию и генерировать новые тексты. В отличии от других LLM-моделей она работает на обычных CPU (центральный процессор) и не требует подключения GPU-карты. Для обучения нейросетей обычно используются серверы на базе GPU, т. к. они обладают высокой производительностью и эффективно справляются с обработкой больших данных. При этом нейросеть T5 практически не уступает в качестве моделям на базе GPU.

Благодаря суммаризации в речевой аналитике появляется возможность прочитать краткое содержание диалога, не изучая полную расшифровку. Также суммаризация используется как один из этапов автоматической кластеризации диалогов (разбивке всей массы диалогов на группы-кластеры с присвоением смыслового названия). А это в свою очередь дает возможность увидеть тематики обращений, которые не входили в изначальный список отчетности контакт-центра. Например, можно заметить увеличение количества заявок о сбоях в системе и оперативно принять меры, или обнаружить негативную обратную связь по новому продукту.

В Базе знаний функция суммаризации дает возможность делать краткий обзор одной статьи или нескольких. Это ускоряет бизнес-процессы, поскольку специалистам могут по основным тезисам освежить свои знания, быстро найти нужный кусок информации и не тратить время на прочтение всего текстового материала. Ранее команда BSS улучшила возможности GPT-поиска в Базе знаний Inknowledge от компании L2U. Этого удалось добиться за счет внедрения новой модели векторизации и за счет изменения разбивки файлов на чанки. Также была добавлена возможность распознавать информацию из таблиц в PDF-документах. Такой ИИ-поиск с RAG позволяет строить точные ответы на основе информации, содержащейся в доверительном хранилище Базы знаний.

«Суммаризация относится к одной из сложных задач NLP, поскольку модель должна обрабатывать длинные тексты, а также генерировать связанные запросы на основе вводной информации. Сейчас мы поддерживаем суммаризацию на основе двух базовых технологий: LLAMA-3 и T5. Нейросеть T5 работает на обычных CPU, она более легкая, но при этом обладает достаточно высоким качеством, поэтому является привлекательной для заказчиков. Мы доработали модель T5, добавив конкурентоспособную функцию и сохранив количество используемых мощностей сервера», — прокомментировал директор департамента голосовых цифровых технологий компании BSS Александр Крушинский.