«Умная» обработка финансовых данных

Июнь, 2020 год.

Автоматическая обработка неструктурированных данных о корпоративных действиях и компаниях.

Финансы Инвестиции Безопасность Клиентский сервис Рост производительности Собственная разработка NLP

Какую проблему решали

Одна из услуг НКО АО «НРД» — мониторинг и предоставление рынку данных о корпоративных действиях и компаниях. Сведения поступают из множества источников по различным каналам связи, и часть из них не поддаётся программной обработке.

Сотрудники компании вручную обрабатывали и регистрировали несколько сотен сообщений ежедневно. На каждое сообщение уходило не менее минуты.

Для оптимизации, ускорения и повышения точности процесса было решено разработать систему на базе ИИ.

Решение проблемы

Команда НКО АО «НРД» разработала решение для распознавания атрибутов ценных бумаг, организаций и специфичной информации по выплатам и изменениям статусов.

Система распознает в поступающих сообщениях всю релевантную информацию: сведения о компании, ценных бумагах и событиях. Отдельно анализируются даты и специализированные коды. Эти сведения автоматически вносятся в базу данных.

ИИ-модуль полностью заменил человека в поиске нужной информации в неструктурированном тексте.

Применяемые технологии

Коробочные решения, как правило, позволяют выделять в тексте имена, адреса и даты. НРД разработал решение под распознавание атрибутов ценных бумаг, организаций и специфичной информации по выплатам и изменениям статусов.

Распознавание специфичных для финансовой сферы именованных сущностей выполняется с помощью решения от DeepPavlov, а именно модели ner_rus из секции Named entity recognition. Модель представляет собой LSTM-сеть (Long short-term memory).

Сеть предобучена на корпусе текстов на русском языке, требует дообучения (fine-tuning’а) на собственном наборе классов. Для обучения используются предразмеченные в BIO-формате тексты.

Бизнес-процесс

До проекта:

Сотрудники вручную ищут информацию в массивах неструктурированных данных.
На обработку одного сообщения уходит 1–1,5 минуты.
Ежедневно вручную обрабатывается и регистрируется до 1 000 сообщений.

После проекта:

ИИ-модуль автоматически распознает, обрабатывает и регистрирует финансовые данные.
Единый источник данных о корпоративных действиях и компаниях.
Время обработки одного сообщения — менее 15 секунд.