Smart Engines с помощью ИИ научила смартфоны распознавать 2-НДФЛ и другие сложные документы

Smart Engines представила систему Smart DocumentReader, способную распознавать сложные документы с таблицами на фотографиях и сканах даже на мобильных устройствах, не перегревая их. Новая технология реализована на базе ИИ-платформы HIEROGLYPH, разработанной специалистами Smart Engines. Первым документом, доступным для распознавания в Smart DocumentReader, стала справка по форме 2-НДФЛ.

Теперь банки и финтех могут предложить клиентам новый пользовательский опыт при вводе данных из 2-НДФЛ в мобильных приложениях и интернет сервисах. Для этого достаточно сфотографировать документ или выбрать/загрузить уже имеющееся фото. С точки зрения программной архитектуры новая функциональность дополняет возможности флагманского продукта компании Smart IDReader в части распознавания паспорта РФ и других удостоверяющих документов при роботизации кредитного конвейера в финансовых организациях. Информация из 2-НДФЛ используется для оценки заемщиков при оформлении ипотеки и других финансовых продуктов, а также в сервисах оформления комплекта документов для получения налоговых вычетов.

Smart DocumentReader позволяет настроить распознавание данных на любых сложноструктурированных документах. Их отличием от «одинаковых на просвет» документов является отсутствие регламентов, определяющих не только состав реквизитов, но и их точное расположение на форме документа. В общем случае это могут быть одностраничные и многостраничные документы, в том числе с табличной частью, размером до А4 включительно. Наиболее распространенными такими документами являются: Счет, Счет-Фактура, Акт, ТТН, ТОРГ12, УПД, Устав, Договор, Инвойс, Анкета, Заявления и другие.

2-НДФЛ – официальный документ о доходах физического лица и удержанном с этих доходов налоге на доходы физических лиц. Несмотря на то, что форма справки утверждается ФНС России, 2-НДФЛ представляют собой яркий пример сложного документа. С одной стороны, на нем присутствует набор статических элементов (слов, линий разграфки) и переменных атрибутов, а с другой – стиль и взаимное размещение этих элементов может существенно меняться от документа к документу. При этом некоторые атрибуты являются необязательными и могут как присутствовать, так и отсутствовать.

Smart DocumentReader позволяет извлекать на справке 2-НДФЛ от нескольких десятков до сотен атрибутов, включая все данные табличной части, даже когда она размещается на 2-ух страницах. Используемые алгоритмы вычислительно эффективной зрительной памяти позволяют исправлять проективные искажения и добиваться высокого качества распознавания даже на фотографиях, сделанных пользователями при различном освещении. В случае встраивания библиотеки в мобильное приложение распознавать документы можно в реальном времени, выполняя все вычисления автономно на мобильном устройстве без передачи данных на обработку во внешние сервисы.

Вся алгоритмическая база Smart DocumentReader, начиная от методов предпроцессинга изображений и заканчивая оптическим распознаванием символа (OCR), является собственной разработкой Smart Engines. Для решения задач детекции, классификации и распознавания документов применяются сверхлегкие глубокие целочисленные нейронные сети. Для оптимизации быстродействия нейронных сетей на уровне платформы HIEROGLYPH используется целочисленная арифметика. Вычисление ответа глубоких нейронных сверточных сетей в 8-битном тракте и реализованные программно-аппаратные оптимизации позволяют избежать перегрева при распознавании 2-НДФЛ даже на мобильных телефонах среднего ценового сегмента.

«Распознавание таких документов со сложной структурой как справка 2-НДФЛ, счет-фактура или счет на оплату в технологическом плане отличается как от распознавания произвольных текстов, так и от распознавания документов с жесткой структурой. Из существенных особенностей можно выделить использование механизма особых текстовых точек, состоящих из результатов распознавания знакомест с привязкой к координатам. Оценка взаимного расположения двух особых текстовых точек является ключевой научной задачей, решенной нами в Smart DocumentReader с помощью инструментов ИИ», – комментирует генеральный директор Smart Engines к.т.н. Владимир Арлазаров.

Smart DocumentReader является многоплатформенным решением и представляет собой инструментарий для разработчика, с помощью которого в мобильные, серверные и десктопные приложения можно встроить алгоритмы распознавания сложных документов. Технология поддерживает аппаратные платформы «Эльбрус», «КОМДИВ», SPARC, MIPS, ARM, x86 и совместима с операционными системами Sailfish Mobile OS RUS («Аврора»), iOS, Android, «Эльбрус», Linux, Windows, macOS, Solaris.

В настоящее время функциональность распознавания справки 2-НДФЛ на базе Smart DocumentReader доступна для тестирования только клиентам компании, использующим технологию распознавания удостоверяющих документов Smart IDReader или технологию распознавания банковских карт Smart CardReader.