181

Оплата взглядом на кассах самообслуживания

2021 год.

Идентификация клиента, совершающего платеж, с помощью распознавания лица

alt

Какую проблему решали

Кассы самообслуживания, установленные в супермаркетах «Перекресток», предлагают покупателям варианты оплаты с помощью банковской карты или смартфона. Несмотря на привычность этих платежных средств, карту легко забыть, а телефоны иногда садятся в самый неподходящий момент.
Поэтому было решено предложить альтернативный и более удобный способ оплаты, который позволяет совершать покупки без наличных, карт или телефона, тем самым улучшая покупательский опыт.
Для этого группа X5, владеющая сетью «Перекресток», внедрила на кассах самообслуживания сервис оплаты товаров одним взглядом, разработанный в партнерстве с компаниями VisionLabs, Visa и Сбер.
Решение проблемы
Оплата покупок на кассах самообслуживания в ряде супермаркетов «Перекресток» теперь производится с помощью технологии распознавания лиц VisionLabs на базе разработок лаборатории инноваций Х5: покупателю достаточно выбрать соответствующий тип оплаты и посмотреть в камеру. Система автоматически идентифицирует покупателя среди клиентов банка и списывает средства со счета.
Использование 3D-камер и алгоритмов Liveness от VisionLabs обеспечивает надежную защиту от спуфинг-атак. Чтобы исключить подлог, система анализирует изображение на предмет его глубины, а также может распознавать фотографии и маски с помощью обученной нейронной сети.
Подобное решение помогает покупателям совершить покупки, даже не доставая карту или телефон из кармана. Все, что требуется – подтвердить операцию на сумму свыше 1000 рублей ПИН-кодом. Решение успешно внедрено в 354 магазинах торговой сети «Перекресток», где установлены кассы самообслуживания.
Применяемые технологии
В киосках самообслуживания установлено программное обеспечение VisionLabs Luna Kiosk, которое включает в себя библиотеки и нейронные сети для анализа изображений и работы с биометрическими образцами. Внедренные алгоритмы компьютерного зрения позволяют быстро и с высокой точностью идентифицировать лица при разном освещении и изменениях фона. Автоматически производятся детектирование лица, выравнивание лица, оценка его атрибутов и качества изображения в целом – отсутствие засветов, достаточная освещенность, поворот головы в анфас и т. д.

Высокий уровень безопасности платежных операций в проекте с X5 обеспечивают разработанные VisionLabs алгоритмы Liveness. Они проверяют, настоящий ли человек перед камерой, и исключают использование распечатанной фотографии, видео с экрана другого устройства или маски. В сочетании с 3D-камерой кассы самообслуживания это обеспечивает надежную защиту от подмены изображения. Уникальность технологии заключается в том, что проверка Liveness построена на основе трех модальностей: анализ инфракрасного и RGB-изображения, а также матрицы глубины: данных, о расстоянии поверхностей объектов от точки обзора. 

Если изображение успешно проходит все проверки, то оно отправляет в систему распознавания лиц банка, которая имеет собственное API, принимая и обрабатывая запросы по протоколу REST посредством сообщений в формате JSON от любых внешних источников. При этом скорость обработки одного кадра – от детектирования лица до его отправки в систему распознавания банка – занимает не больше 500 мс.

В результате, после прохождения всех этапов пайплайна в части распознавания лиц, банк получает идентификатор найденного похожего лица и запускается процессинг на стороне банка (списание средств со счета).

Бизнес-процесс

До проекта:

  • Для оплаты на кассах самообслуживания необходимы банковская карта или телефон
  • Покупка совершается после успешной проверки платежного средства
  • На операцию требуется 10-15 секунд в зависимости от способа оплаты

После проекта:

  • Покупатель предоставляет банку свои биометрические данные
  • На кассе самообслуживания клиент выбирает оплату взглядом
  • Для совершения покупки нужно просто посмотреть в камеру, телефон, карта или наличные – не нужны
  • Камера и программное обеспечение по распознаванию лиц позволяют в 2-2,5 раза сократить время на оплату покупок 

Результаты

Команда X5/VisionLabs

Никита Карабинов
Старший руководитель проектов, VisionLabs
Александр Костин
Менеджер проектов по ключевым клиентам, VisionLabs
Роман Тимаев
Директор по инновациям, X5 Group