RAG-платформа для операторов Альфа-Банка: ускорили поиск данных в 20 раз

Система сокращает время ответа клиенту и нравится 93% сотрудников. Рассказываем, как за 4 месяца Альфа-Банк запустил RAG-решение для контакт-центра при поддержке специалистов KTS

Альфа-Банк — крупнейший частный банк России, входит в топ-5 системно значимых кредитных организаций. Обслуживает более 40 млн частных и 2 млн корпоративных клиентов.

Альфа-Банк работает по модели Phygital, сочетая цифровые инновации с развитой сетью физического присутствия: более 800 офисов и 30 000 населённых пунктов с доставкой. Развивается в формате neotech-платформы — обеспечивает клиентам бесшовный цифровой опыт для решения финансовых и повседневных задач.

Контакт-центр обрабатывает десятки тысяч обращений в сутки: более 12 000 операторов отвечают на вопросы клиентов — по продуктам, тарифам, условиям обслуживания.

Раньше сотрудники вручную искали данные в базе знаний и формировали ответ. Чтобы ускорить работу операторов и улучшить клиентский опыт, MLOps-команда Альфа-Банка, усиленная специалистами KTS, разработала AI-решение на основе RAG. Как оно работает и какие результаты получили, рассказываем в кейсе.

Задача: сократить время ответа клиенту

Команда Альфа-Банка проанализировала работу операторов и выдвинула гипотезу: внедрение AI-решения ускорит ответ клиенту на 30-40 секунд. В среднем обработка запроса занимала 5 минут: оператор вручную искал нужную статью в базе знаний, при необходимости заходил в первоисточники и формулировал ответ.

Решение

Выбрали RAG-технологию — это архитектурный подход, в котором система извлекает релевантную информацию из внешних источников знаний, а затем передаёт её языковой модели для генерации ответа. Платформа автоматически учитывает изменения в базе данных. Это позволяет работать с актуальной информацией и повысить точность ответов.

Для RAG-платформы зафиксировали технические требования. Вот некоторые из них:

• развёртывание системы внутри контура банка;
• запуск на двух GPU NVIDIA H100, чтобы уложиться в экономику проекта;
• SLA по времени ответа: не более 5 секунд;
• RPS (количество запросов в секунду): 7.

Дополнительной метрикой контроля определили обратную связь от операторов — им должно быть удобно пользоваться AI-инструментом.

После определения целевых показателей MLOps-команда начала разработку. RAG-платформу внедряли поэтапно: сначала запустили пилот на 100 операторов и постепенно увеличивали количество пользователей. Всего за 4 месяца мы вывели проект в production.

Как устроена RAG-платформа

Вместе с командой Альфа-Банка мы реализовали классический RAG-пайплайн на модели Gemma 3.

Запрос оператора поступает в оркестратор и преобразуется в векторный формат. Затем система подбирает наиболее релевантные фрагменты текста и передаёт их в LLM. Модель суммаризирует информацию и генерирует ответ.

Параллельно с основным процессом идёт непрерывное обновление векторного хранилища. Для финансовой сферы критически важно, чтобы операторы отвечали по актуальным данным. Если клиент получит нерелевантную информацию о кредитной ставке или условиях вклада, это может привести к финансовым потерям и репутационным рискам для банка.

Чтобы избежать ошибок, мы настроили автоматическое обновление векторного индекса: когда редакторы Альфа-Банка добавляют новые статьи или актуализируют текущие, эти изменения автоматически подтягиваются в систему.

Как и планировалось, RAG-платформа выдерживает нагрузку на двух видеокартах H100 и имеет запас по производительности.

Ускорили время ответа модели в 2 раза и настроили кеш с учётом прав доступа

Платформа должна была выдерживать 7 RPS на двух GPU NVIDIA H100 и обрабатывать запрос не дольше чем за 5 секунд.

На первых нагрузочных тестах p90 составлял около 8 секунд: девять из десяти запросов система обрабатывала за это время, а каждый десятый мог занимать больше.

Чтобы уложиться в SLA, мы разработали методологию автоматического подбора параметров инференса. Система сама ищет баланс между скоростью и качеством ответа. После оптимизации p90 снизился до 4 секунд.

Также мы настроили кеширование: платформа обрабатывает запрос один раз и сохраняет результат. Когда приходит аналогичное обращение, система сразу возвращает ответ. Это позволяет снизить нагрузку на GPU и повышает скорость отклика.

В финальном нагрузочном тесте платформа выдержала 8 запросов в секунду и превысила целевой показатель 7 RPS.

В кешировании важно было учитывать уровни доступа операторов к статьям в базе знаний. Для этого настроили проверку:

1. Система идентифицирует сотрудника.
2. Отбирает доступные ему статьи по ID.
3. Рассчитывает для них хеши.
4. Сохраняет результат в кеш.

Это позволяет возвращать корректный ответ для каждого пользователя с учётом уровня доступа, даже при одинаковых запросах

Результаты: сократили время поиска в 20 раз и получили 93% положительных оценок

RAG-платформа ускоряет и упрощает работу более 12 000 операторов контакт-центра Альфа-Банка:

• среднее время обработки запроса уменьшилось на 13%;
• время на поиск информации сократилось в 20 раз.

«Это классный проект, который помогает тысячам пользователей. 93% операторов положительно оценивают опыт работы с платформой: системой удобно пользоваться, обрабатывать обращения клиентов стало проще и быстрее»

Алексей Фатеев
Лид KTS на проекте RAG-платформы от Альфа-Банк

AI-решение масштабировали на всех сотрудников Альфа-Банка. В ближайших планах улучшение качества ответов, эксперименты с новыми LLM и реализация поиска не только по тексту статей, но и по вложенным файлам.