4931
Управление модельным риском
Январь, 2019 год.Платформа управления AI/ML моделями SberDS.
Какую проблему решали
Сбер активно внедряет технологии AI и ML в различные бизнес-процессы своей экосистемы. Количество моделей, используемых для поддержки принятия решений, удваивается каждый год, их общее количество превышает несколько тысяч.
Модели со времени могут начать ошибаться, и решения, которые автоматически будут приниматься на основе их использования, будут неверными. Крайне актуальной становится задача управления новым видом риска — модельным риском. Его необходимо идентифицировать, контролировать и управлять им.
Поставлена задача разработать специализированные методики управления модельным риском и технологическое решение для их применения. Важно снизить требования к компетенциям людей, которые будут использовать эти инструменты.
Решение проблемы
Сбер в партнерстве с компанией EPAM разработал систему управления модельным риском. Она реализована на базе универсальной платформы SberDS, которая позволила автоматизировать управление модельным риском на всех этапах жизненного цикла моделей.
Разработана методология, позволяющая повысить точность оценки и контроля модельного риска, в том числе — оценку риска в денежном выражении и предсказание ухудшения качества модели в будущем.
Платформа SberDS предоставляет готовый набор LowCode/NoCode инструментов для автоматизированной разработки AI и ML моделей, включая преднастроенные рекомендации по решению основных классов задач.
Применяемые технологии
Решение построено на использовании передовых технологий в области AI и ML, а также распределенных, облачных вычислений на больших данных: Hadoop, OpenShift, реализована интеграция с суперкомпьютером «Кристофари». Использованы все современные возможности ядра Linux.
Основные AI-алгоритмы, применяемые в решении:
- Для оценки уровня модельного риска в денежном выражении — Semi Supervised Learning.
- Алгоритмы градиентного бустинга позволяют прогнозировать, когда модель ухудшит свое качество и потребуется ее перестройка.
- AutoML алгоритмы оценивают, можно ли построить более качественную или простую модель.
Благодаря использованию в алгоритмах техник Partial Derivative Function и Shap Values сложные black box модели автоматически интерпретируются на язык, понятный бизнес-пользователям.
Технологическое ноу-хау — использование технологий изоляции при запуске на Hadoop.
На ряд технологий, используемых в системе, поданы заявки на патенты.
Бизнес-процесс
До проекта:
- Нет механизмов гибкого управления модельным риском.
- Только 50% моделей попадали под контроль.
- Время реагирования на инциденты могло доходить до нескольких месяцев.
- Необходим высокий уровень компетенций для работы с модельным риском.
После проекта:
- Управление модельным риском автоматизировано.
- Разработана методология оценки уровня модельного риска, в том числе в денежном выражении.
- Постоянный контроль качества 100% моделей и прогнозирование ухудшения их работы.
- Автоинформирование при выявлении потенциальных угроз.
Результаты
Команда Сбера
Максим Белозеров
Управляющий директор, руководитель центра развития Sber.DS
Эдуард Динисламов
Руководитель направления, Центр развития платформы Sber.DS
Сергей Омельченко
Исполнительный директор, Центр развития платформы Sber.DS
Павел Русин
Руководитель направления, Центр развития платформы Sber.DS
Иван Ушанкин
Руководитель направления, Центр развития платформы Sber.DS
Ярослав Черепанов
Руководитель направления, Центр валидации моделей КИБ
Команда EPAM
Денис Ванин
Руководитель проекта
Ольга Давыдова
Дизайнер
Игорь Дроздов
Ведущий разработчик
Андрей Змеевской
Разработчик
Евгений Кривошеев
Ведущий разработчик
Михаил Ольховик
Ведущий разработчик
Андрей Тимохин
Разработчик
Похожие кейсы
AI-кейсы с доказанной бизнес-эффективностью. Все проекты успешно прошли проверку комиссией из признанных экспертов в технологиях и бизнесе.
