Как работает идентификация лицевых образов в смартфонах

Для чего мы выбираем разблокирование по лицевому распознаванию

В недавние годы определение лиц превратилось в одной из самых распространённых возможностей для открытия мобильных телефонов. Еще несколько годков назад основная часть использующих обходились PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением подобных технологий, как вулкан россия, нам вполне лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Что обуславливает эту возможность такой востребованной? Прежде всего, это удобно: не нужно удерживать в памяти замысловатые пароли или отыскивать правильный палец в мраке. Также, это оперативно: современные алгоритмы идентифицируют лицо буквально за мгновения ока. В-третьем пункте, это ощущение футуризма — как будто в кинолентах про вулкан казино агентов.

Впрочем за этой видимой легкостью таится целый вселенная трудных методов и инженерных решений. Попробуем исследовать, как именно работает фейсканирование в новейших мобильных телефонах, какие существуют технологии, насколько они безопасны и что нас ожидает в будущем.

Краткая повествование прогресса инноваций

Распознавание лиц как методика существует уже более пятидесяти лет. Начальные пробы автоматического анализа лица были предприняты еще в 1960-х годах в научных учреждениях США. Тогда вычислительные машины умели лишь обозначать очертания лица и измерять расстояния между зрачками и ртом на черно-белых изображениях.

Изначальные коммерческие платформы появились в девяностых годах, но они были неидеальны: функционировали медленно и нередко ошибались. Только с прогрессом нейронных сетей и таких площадок, как вулкан россии, высокопроизводительных мобильных чипов идентификация лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным сканированием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и другие стали интегрировать личные разработки.

Главные шаги действия устройства распознавания

Процесс идентификации лица можно ориентировочно поделить на несколько важных этапов:

Идентификация лиц — аппарат определяет существование людского лица в изображении.
Извлечение характеристик — механизм исследует контуры облика: форму глаз, носа, губ, позицию надбровных дуг.
Построение структуры — создаётся неповторимый цифровой отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение с стандартом — созданный модель сравнивается со сохранённой при регистрации биометрической данными владельца.
Принятие решения — если соответствие достаточно существенное, смартфон открывается.

Любой из данных стадий нуждается в индивидуальных процедур и оптимизаций для быстрой работы непосредственно на девайсе.

Аппаратные элементы: что прячется внутри них

Обычная фронтальная камера.

Простейший простой способ определения облика применяет лишь фронтальную камеру смартфона. Подобный метод внедрён во многочисленных бюджетных версиях Android-устройств.

Преимущества:

Не нуждается в нуждается в дополнительные датчиков.
Оперативно работает при качественном освещённости.

Минусы:

Просто ввести в заблуждение снимком или роликом.
Неудачно функционирует при слабом освещении или нестандартных точках зрения.

ИК фотокамера и точечный проектор

Более усовершенствованные системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс является основой Face ID от Apple.

Каким образом это работает:

Точечный проекционный прибор отображает на физиономию использующего невидимую сетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 точек).
ИК камера регистрирует искривление данной решетки по плоскости лица.
Формируется трёхмерная карта глубины глубины, которая почти что невозможна для фальсификации стандартной фотографией или маской.

Плюсы

Надёжная деятельность даже в полной темноте.
Большая сопротивляемость к имитациям.
Точность определения свыше 99%.

Дополнительные сенсорные устройства

В определённых девайсах применяются также экстра сенсоры: ToF (Time-of-Flight), которые измеряют период прохождения света до предмета и обратно; RGB-датчики глубины; специальные лазерные лидары для построения более детализированной 3D-модели физиономии.

Эти инновации встречаются чаще всего во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: искусственный разум на действии

Современные устройства идентификации лиц немыслимы без использования ИИ и machine learning. Именно вследствие таким технологиям, как вулкан россии, устройство может идентифицировать пользователя даже при трансформациях внешнего вида: новая укладка, щетина, линзы или грим не становятся препятствием для открытия.

Обнаружение лиц

При первом этапе система должна оперативно обнаружить лицо внутри полного изображения с камеры. Для этой задачи применяются каскадные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые подготовлены распознавать человеческие лица среди множества других объектов.

Пример: процесс MTCNN способен находить физиономию даже при неполном перекрытии (например, шарфом или рукой).

Идентификация основных точек

После идентификации лица устройство, такая как вулкан россии, устанавливает расположение ключевых точек: кончики глаз, конец носа, контуры губ и так далее. Как правило применяется от 68 до 128 главных точек на лице.

Это необходимо для выравнивания визуала: если человек находится с смартфон под наклоненным, или склонил головку, программа «выпрямляет» картинку до обычного угла для дальнейшего анализа.

Построение биометрического шаблона

Далее нейросеть строит уплотненное цифровое представление («эмбеддинг») облика пользователя — своеобразный цифровой «отпечаток» лица длиной от 128 до 512 чисел с плавающей запятой.

Этот формат весьма трудно имитировать: он не хранит само фото юзера, а лишь особенные черты его внешности, что делает его оптимальным для таких платформ, как vulkan russia.

Сопоставление и принятие решения

Когда человек желает разблокировать мобильник взором, механизм повторяет все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный уровень (обычно выше 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ блокируется.

Привыкание к трансформациям внешнего вида

Увлекательная характеристика нынешних систем — возможность самообучения. Если вы часто разблокируете телефон с новой стрижкой или оптикой, алгоритм постепенно освежает основной шаблон вашего облика для увеличения точности действия без снижения уровня безопасности.

Защита биометрии информации.

Многие клиенты боятся держать свои биометрические данные на мобильном устройстве из-за угрозы утечки данных или взлома устройства. Некоторые фирмы, например vulkan russia, предлагают решения для улучшения безопасности информации пользователей.

Локальное хранение: Основная часть девайсов сохраняет био-идентификационные модели исключительно внутрь безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они всегда не оставляют аппарат и закрыты включая создателю.
Шифрование: Все информация хранятся только в кодированном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Программы третьих разработчиков не обладают прямого доступа к биометрическим; они могут лишь требовать факт подтверждения идентичности через системный API.

Следует упомянуть важную подробность: в случае, если кто-то получит физический доступ к вашему телефону (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие компании реализуют систему защиты от автоматического разблокирования — в частности, просят разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно имеются виды распознавания лиц?

В настоящее время можно определить определить три основных метода к выполнению этой задачи:

Программное плоское идентификация

Применяется только лицевая видеокамера без вспомогательных сенсоров дистанции. Такой метод встречается обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота реализации; умеренная цена; оперативная функционирование при хорошем свете.
Минусы: просто одурачить фотографией; неустойчивая деятельность ночью; недостаточная защищенность.

Техническое объёмное оцифровка

Использует инфракрасную видеокамеру + проекционный модуль пикселей + сенсоры дистанции (Face ID от Apple; аналогичные технологии у Huawei Mate).
Преимущества: большая надёжность; невозможно подделать изображение/видеозапись; устойчивая деятельность в любых условиях освещения.
Минусы: увеличение цены устройства; увеличение толщины верхней рамки экрана («чёлка»)

Комбинированные подходы с ИИ-дополнением

Используют комбинацию программных методов + аппаратную обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам («anti-spoofing»). Например, такие продукты, как вулкан россии и Google Pixel Face Unlock последних версий, объединяют фронталку c инфракрасным сенсором движения Soli Radar для защиты от подделок руками/масками/видеодисплеями посторонних устройств.

Образцы использования разнообразных способов

iPhone модели X/11/12/13/14 применяют только физическое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition первый раз предложил подобие Face ID среди Android.
Samsung Galaxy S10 версия/S20 имеют как программное 2D определение по фото фронталкой, так и сканер глазного ириса.
Huawei Mate20 Pro задействует систему из ИК-инфракрасного света + Dot Projector + ToF-датчик

Проблемы безопасности и неверные срабатывания

Несмотря на впечатляющий прогресс технологий за последние годы, идеальных систем пока не имеется:

Вероятность мошенничества: Доступные смартфоны легко доступны высококачественной снимком хозяина или же роликом с экрана другого устройства.
Идентичные двойняшки: Даже самые совершенные механизмы могут перепутать между монозиготными близнецами либо семьями с очень схожей внешностью.
Изменения внешнего вида: Резкое похудение/увеличение массы тела, пластические операции либо повреждения порой требуют обновления данных биометрических данных.
Условия съёмки: Интенсивная засветка солнцем либо плотная тень могут снизить точность определения признаков.

Здесь пара подсказок для защищённому применению:

Для значимых операций всегда используйте двухфакторную аутентификацию;
Не включайте функцию «Разблокировка по лицу» на бюджетных устройствах без ИК-сенсоров;
Систематически обновляйте программное обеспечение телефона для защиты от актуальных атак;
Включайте опцию «Требовать открытых глаз» в тех местах, где она есть.

Где дополнительно применяется технология помимо смартфонов?

Хотя основная мысль данной статьи касается в частности портативным гаджетам, необходимо сказать о альтернативных областях использования технологии:

Мониторинг входа в рабочих помещениях и жилых домах;
Платёжные аппараты банков («Face Pay»);
Цифровые идентификационные документы современного поколения;
Системы видеонаблюдения городских подразделений;
Механизация отслеживания посещаемости учебных заведений/институтов;
Аутентификация пользователей компьютеров/ноутбуков.

Например: В городском метро уже испытывается система оплаты проезда по лицу («Face Pay») — хватит пройти через барьер без карты или мобильника! Аналогичные инициативы реализуются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как меняется технология в нынешнее время?

Всякий годик проявляются новые концепции для повышения уровня работы систем лицевого распознавания:

Увеличивается разрешение датчиков — чем больше деталей фиксируется камерой/датчиками глубины, тем меньше шанс погрешности;
Совершенствуются нейронные сети — новейшие архитектуры типа MobileNetV3 дают возможность оперативно адаптироваться к дополнительным особенностям облика пользователя напрямую на гаджете без отправки данных в облако.
Улучшаются технологии антиспуфинга — теперь телефоны умеют отличать настоящие анимированные облики от статичных фото/масок по незаметным микродвижениям.
Синхронизация со интеллектуальными приборами — смарт-часы могут авто блокировать телефон, если владелец ушёл далеко.
Появляются смешанные системы — в частности комбинирующие аудио аутентификацию + лицо + отпечаток пальца.

Итак, те направления очень популярны сейчас:

1) Сокращение компонентов

Изготовители стараются минимизировать размер прорези («чёлки») под датчики на дисплее за счёт встраивания миниатюрных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на девайсе

Для улучшения личной безопасности всё больше вычислений осуществляется внутри устройства без передачи информации во дополнительный облачный сервис.

3) Упорядочивание стандартов

Google энергично пропагандирует стандарт BiometricPrompt API, с целью чтобы аналогичные системы, вроде вулкан россия, и любые Android-приложения могли взаимодействовать с всеми формами биометрии стандартизированно.

Что подобрать сегодня?

Когда тебе важна максимальная сохранность информации, выбирайте топовые устройства с интегрированным ИК-проектором или же ToF-сенсором глубины.

iPhone всех существующих новейших поколений
Huawei Mate/P ряда
Mi Pro
Vivo X серии
Oppo Find Х линейки.

Если финансы невелик – лучше предпочесть обычным методам безопасности (PIN-код/сканер отпечатка), а возможность «разблокировка по лицу», такую как в вулкан россия, использовать только как дополнительную опцию удобства.

Как увеличить практичность функционирования функции?

Есть некоторые советов для тех, кто уже применяет разблокировку через лицо:

Регулярно меняйте свою фото-шаблон, если значительно изменяется внешний вид.
Не упускайте из виду очищать объектив передней камеры – разводы могут уменьшить точность!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего телефон сам активирует фотоаппарат когда вы берёте его в руки.
В процессе регистрации пытайтесь сохранять лицевую часть прямо напротив объектива исключая сильного наклона головы.
Задействуйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отворачиваетесь от дисплея.

Будущее прогресса инноваций

В предстоящие годы можно ожидать развития полностью безконтактных способов распознавания индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + звучание + манера ходьбы + манипуляции руками!

Также вероятно появление новых способов обеспечения личной информации – скажем, переменное корректировка электронного образца после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – единственная из наиболее увлекательных технологий нашего времени! Она обеспечивает интеракцию со телефоном комфортнее чем до этого, и такие аппы, как vulkan russia, могут в разы повысить ваш юзерский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы осведомлены, как функционирует эта методика изнутри, – сумеете вдумчиво подбирать свой будущий девайс!