364

«Умная» обработка финансовых данных

Июнь, 2020 год.

Автоматическая обработка неструктурированных данных о корпоративных действиях и компаниях.

alt

Какую проблему решали

Одна из услуг НКО АО «НРД» — мониторинг и предоставление рынку данных о корпоративных действиях и компаниях. Сведения поступают из множества источников по различным каналам связи, и часть из них не поддаётся программной обработке.
Сотрудники компании вручную обрабатывали и регистрировали несколько сотен сообщений ежедневно. На каждое сообщение уходило не менее минуты.
Для оптимизации, ускорения и повышения точности процесса было решено разработать систему на базе ИИ.
 
Решение проблемы
Команда НКО АО «НРД» разработала решение для распознавания атрибутов ценных бумаг, организаций и специфичной информации по выплатам и изменениям статусов. 
 
Система распознает в поступающих сообщениях всю релевантную информацию: сведения о компании, ценных бумагах и событиях. Отдельно анализируются даты и специализированные коды. Эти сведения автоматически вносятся в базу данных.
ИИ-модуль полностью заменил человека в поиске нужной информации в неструктурированном тексте.
Применяемые технологии

Коробочные решения, как правило, позволяют выделять в тексте имена, адреса и даты. НРД разработал решение под распознавание атрибутов ценных бумаг, организаций и специфичной информации по выплатам и изменениям статусов. 

Распознавание специфичных для финансовой сферы именованных сущностей выполняется с помощью решения от DeepPavlov, а именно модели ner_rus из секции Named entity recognition. Модель представляет собой LSTM-сеть (Long short-term memory). 

Сеть предобучена на корпусе текстов на русском языке, требует дообучения (fine-tuning’а) на собственном наборе классов. Для обучения используются предразмеченные в BIO-формате тексты.
 

Бизнес-процесс

До проекта:

  • Сотрудники вручную ищут информацию в массивах неструктурированных данных.
  • На обработку одного сообщения уходит 1–1,5 минуты.
  • Ежедневно вручную обрабатывается и регистрируется до 1 000 сообщений.

После проекта:

  • ИИ-модуль автоматически распознает, обрабатывает и регистрирует финансовые данные.
  • Единый источник данных о корпоративных действиях и компаниях.
  • Время обработки одного сообщения — менее 15 секунд. 

Результаты

Команда проекта

Лидия Борисенко
Начальник управления инновационных разработок и дата-менеджмента
Роман Щекин
Начальник отдела машинного обучения и архитектуры данных