Ученые компании Smart Engines окончательно решили задачу распознавания паспорта РФ

Научная компания Smart Engines решила последнюю фундаментальную проблему при распознавании паспорта РФ с помощью технологий искусственного интеллекта (ИИ). В программном продукте Smart ID Engine продемонстрирован режим распознавания «книжки» паспорта под разными углами и различном освещении в реальном времени в видеопотоке и на фотографиях. Именно «книжка» была тем научно-технологическим рубежом, преодолев который, задачу распознавания паспорта РФ на уровне ИИ можно считать решенной.

В отличии от традиционной задачи распознавания скан-копии, когда, за счет «прижатия» документа к рабочей поверхности сканера, паспорт фактически превращается в плоский объект, распознавание фотографии паспорта требует учета всех геометрических особенностей «книжки» документа. Перед ИИ стоит сложная задача определения и восстановления геометрии документа в исходном пространстве по его проекции на плоскость изображения. Для ее решения методами искусственного зрительного интеллекта исследователями Smart Engines были созданы новые энергоэффективные архитектуры малобитных нейронных сетей с повторяющимися Радоновскими слоями. Заложенная в них эквивариантность к проективным преобразованиям позволяет исправлять перспективные искажения паспорта РФ как в режиме реального времени в процессе распознавания видеопотока, так и на отдельных фотографиях.

Разработка Smart Engines предназначена для автоматического ввода паспортных данных в мобильных приложениях, интернет-решениях и других системах при дистанционном обслуживании и обработке клиентских документов в отделениях. Полная автономность процесса распознавания в Smart ID Engine обеспечивает соблюдение приватности пользователей и позволяет организациям выполнять требования ФЗ-152 по безопасности обработки персональных данных. Smart Engines не собирает данные пользователей для повышения качества распознавания или обучения нейронных сетей. Высокая точность и надежность распознавания достигается в Smart ID Engine исключительно за счет алгоритмов ИИ, изображения документов пользователей ни в каком виде не передаются в сторонние сервисы для ручного извлечения данных верификаторами.

«На пути решения задачи распознавания паспорта РФ наши ученые и инженеры последовательно решили целый ряд фундаментальных проблем, связанных как с особенностями распознавания видеопотока и фотографий документов, так и со спецификой самого паспорта. Это и создание технологий распознавания символов редких шрифтов и нестандартных пропорций, алгоритмы межкадровой интеграции, учитывающие ошибки систем автофокусировки и возникновение зашкаливающих бликов на защитной пленке, программно-аппаратная оптимизация ИИ для работы на устройствах с ограниченной производительностью, распознавание паспортов с рукописным заполнением, устойчивая работа в полутьме на грани видимости и, наконец, распознавание «книжки» паспорта как трехмерного объекта. Конечно, мы продолжим работу по повышению точности и скорости распознавания, но основные научные вызовы мы видим в требованиях новой экономики по созданию на базе ИИ решений для защиты пользователей и бизнеса от мошеннических действий с документами», — комментирует генеральный директор Smart Engines к.т.н. Владимир Арлазаров.

«Человеческий мозг способен распознавать объекты с почти произвольных ракурсов, не тратя на это значительных ресурсов. Когда мы берем в руки паспорт, то мы не разворачиваем его полностью перед тем, как прочитать. Мы просто приоткрываем паспорт до тех пор, пока не начнем отчетливо видеть буквы. При этом угол между плоскостями страниц может быть все еще острым, а образ текста на сетчатке существенно искажен перспективой. В восприятии же человека эти искажения отсутствуют. Реализовать такой же принцип работы распознающей программы на базе ИИ было для нас вызовом с того времени, как в 2015 году мы показали первую версию системы распознавания паспорта в видеопотоке и на фотографиях. Решить проблему распознавания «книжки» мы смогли благодаря созданию модели ИИ, способной точно и быстро локализовать и нормализовать плоские фрагменты сложных трехмерных объектов на изображениях с учетом законов перспективы физического мира», — комментирует технический директор Smart Engines к.ф.-м.н. Дмитрий Николаев.

Новая алгоритмическая база обеспечивает высокое качество и скорость распознавания данных паспорта РФ с помощью программного продукта Smart ID Engine начиная с версии 1.4.0. Пользователи или выездные сотрудники могут делать фотографии или распознавать паспорт на видео, показывая документ камере телефона или планшета так, как им удобно. Для внесения данных паспорта при обслуживании клиентов в отделениях можно показать и сфотографировать документ обычной веб-камерой. Поддерживается распознавание как печатных, так и рукописных паспортов.

Кроме паспорта РФ Smart ID Engine позволяет извлекать данные из более 1600 типов удостоверяющих документов 210 юрисдикций мира на более чем 100 языках. Продукт оптимизирован для архитектур «Эльбрус», SPARC, MIPS, ARM, x86 и совместим с операционными системами iOS, Android, МОС «Аврора», «РЕД ОС», «Эльбрус», Linux, Windows и macOS. Разработчикам мобильных, десктопных и серверных приложений поставляется комплект SDK, содержащий документацию API и примеры интеграции на разных языках программирования.

Smart ID Engine не требует сетевого соединения, не передает и не хранит персональные данные клиентов. Все вычисления в процессе распознавания выполняются всегда на устройстве пользователя: на телефоне, компьютере или сервере. Это позволяет компаниям по всему миру соблюдать международные и национальные стандарты безопасности обработки персональных данных. В России программные продукты Smart Engines для распознавания документов используют Билайн, МТС, МегаФон, группа Тинькофф, Альфа-Банк, Газпромбанк, Банк ДОМ.РФ, МКБ, Почта Банк, Райффайзенбанк, Росбанк, ФПК РЖД, KUPIBILET, Альфастрахование и др.