Как работает определение лицевых образов в смартфонах

Для чего мы выбираем разблокировку по лицу

В последние времена определение лиц стало одной из самых распространённых опций для открытия умных телефонов. Всего несколько годков ранее большинство юзеров удовлетворялись пин-кодами, паролями или датчиками отпечатков пальцев. Но при появлением таких технологий, например вулкан россия, нам вполне просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Какая вещь делает эту конкретную возможность настолько популярной? Прежде всего, это практично: не нужно запоминать замысловатые пароли или находить нужный палец в темноте. Во-вторых, это быстро: современные системы идентифицируют лицо буквально за мгновения ока. В-третью очередь, это впечатление футуризма — словно в кинолентах про казино вулкан агентов.

Впрочем за этой кажущейся легкостью прячется полный универсум комплексных технологий и инженерных разработок. Попробуем разобраться, как именно работает фейсканирование в актуальных смартфонах, какие бывают технологии, насколько они надёжны и что нас предстоит.

Сжатая история развития технологии

Идентификация лиц как технология существует уже более 50 годов. Начальные пробы автоматизированного анализа лица были осуществлены еще в 1960-х годах в исследовательских центрах США. Тогда ЭВМ могли лишь определять очертания лица и определять промежутки между глазами и ртом на ахроматических фотографиях.

Изначальные торговые установки возникли в девяностых годах, но они были несовершенны: действовали неспешно и нередко ошибались. Только с прогрессом синтетических сетей и таких платформ, как вулкан россии, сильных мобильных микросхем идентификация лиц стало по-настоящему массовым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным распознаванием лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и другие стали интегрировать личные разработки.

Ключевые шаги работы устройства определения

Процесс определения лица можно примерно разделить на несколько важных этапов:

1. Обнаружение лиц — аппарат определяет существование гуманного лица в кадре.
2. Извлечение характеристик — алгоритм исследует черты лица: очертания глаз, обонятельного органа, губ, положение надбровных дуг.
3. Построение структуры — создаётся неповторимый виртуальный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение со эталоном — полученный модель сравнивается с записанной при внесении биометрической данными владельца.
5. Принятие определения — если совпадение достаточно значительное, смартфон разблокируется.

Всякий из этих этапов запрашивает индивидуальных методов и усовершенствований для оперативной работы непосредственно на девайсе.

Аппаратные составляющие: что прячется в их недрах

Типичная селфи камера.

Самый несложный способ распознавания физиономии применяет только лицевую камеру смартфона смартфона. Данный метод внедрён во различных доступных моделях Android-девайсов.

Преимущества:

• Не нуждается в нуждается в внешних датчиков.
• Оперативно функционирует при достаточном освещённости.

Недостатки:

• Просто одурачить снимком или видео.
• Неудачно работает при низком освещении или непривычных точках зрения.

Инфракрасная фотокамера и пунктирный проектор

Более усовершенствованные системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология составляет базу Face ID от Apple.

Каким способом это работает:

• Точечный устройство проекции показывает на физиономию использующего невидимую решетку из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 точек).
• ИК устройство фиксирует деформацию данной решетки по поверхности лица.
• Формируется трёхмерная карта глубины, что практически неподвластна для подделки типичной фотографией или маскировкой.

Преимущества

• Надёжная деятельность даже в полной темноте.
• Высокая защита к имитациям.
• Точность идентификации выше 99%.

Добавочные сенсорные устройства

В некоторых девайсах применяются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют время прохождения света до предмета и обратно; Трехцветные-датчики дальности; специальные лазерные дальномеры для построения более точной 3D-модели лица.

Эти технологии используются чаще всего во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: искусственный интеллект на действии

Современные механизмы опознания лиц немыслимы при отсутствии применения ИИ и machine learning. Именно из-за таким разработкам, как вулкан россии, устройство может распознавать юзера даже при изменениях внешнего вида: новая стрижка, растительность на лице, линзы или косметика не становятся препятствием для деблокировки.

Распознавание лиц

При стартовом этапе алгоритм необходимо оперативно найти ликовое изображение внутри всего изображения камеры. Для этого применяются каскадные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые натренированы находить человеческие лица среди множества других объектов.

Пример: процесс MTCNN способен обнаруживать физиономию даже в случае частичном закрытии (например, платком или рукой).

Идентификация важных точек

После идентификации лица система, такая как вулкан россии, вычисляет положение основных точек: кончики глаз, кончик носа, края губ и так далее. Часто задействуется от 68 до 128 ключевых точек на лице.

Это необходимо для нормализации картинки: если пользователь удерживает смартфон под наклоненным, или склонил головку, программа корректирует картинку до обычного угла для дальнейшего анализа.

Формирование биометрического идентификатора шаблона

Далее нейронная сеть строит сжатое математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 флоатов.

Этот шаблон очень затруднительно подделать: он не удерживает само изображение юзера, а лишь особенные особенности его облика, что делает его идеальным для таких систем, как vulkan russia.

Сравнительный анализ и вынесение заключения

Если юзер намеревается разлочить мобильник глазами, программа воспроизводит все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный порог (обычно больше 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ не предоставляется.

Адаптация к изменениям внешнего вида

Интересная особенность нынешних системы — возможность самообучения. Если вы постоянно открываете смартфон с обновленной прической или оптикой, программа постепенно обновляет эталонный шаблон вашего облика для повышения точности работы без снижения уровня безопасности.

Защита биометрических данных.

Многие клиенты боятся держать свои биометрические данные на телефоне из-за вероятности утечки данных или взлома устройства. Иные компании, такие как vulkan russia, предлагают методы для улучшения безопасности сведений пользователей.

• Локальное сохранение: Преимущественно девайсов записывает биометричные шаблоны лишь в пределах защищённого процессора Secure Enclave (Apple) или TrustZone (Android). Они всегда не покидают гаджет и не доступны даже производителю.

• Шифрование: Все данные сберегаются только в шифрованном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция программ: Программы третьих разработчиков не обладают непосредственного возможности доступа к биометрическим данным; они могут лишь требовать подтверждение подтверждения личности через системный API.

Следует подчеркнуть существенную подробность: если какой-то человек сможет получить физический доступ к вашему телефону (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество компании осуществляют систему защиты от “слепого” разблокирования — в частности, просят открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются виды распознавания лиц на изображениях?

Сегодня можно определить выделить 3 ключевых подхода к осуществлению этой операции:

Программируемое двухмерное определение

Применяется только передняя камера без экстра датчиков глубины. Этот метод встречается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость осуществления; минимальная стоимость; быстрая деятельность при качественном свете.
Минусы: несложно ввести в заблуждение снимком; ненадежная функционирование ночью; низкая защищенность.

Техническое трёхмерное сканирование

Использует ИК камеру + проекционный модуль пикселей + сенсоры дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Достоинства: большая достоверность; нельзя подделать фото/видео; стабильная функционирование в любых условиях освещения.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с дополнением ИИ

Задействуют комбинацию программных методов + техническую обработку + последующую обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие товары, например вулкан россии и Google Pixel Face Unlock новейших версий, объединяют фронтальную камеру c ИК сенсором мобильности Soli Radar для защиты от подделок жестами/масками/видеодисплеями посторонних устройств.

Иллюстрации эксплуатации разнообразных техник

• iPhone серии X/11/12/13/14 используют только техническое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition впервые предложил подобие Face ID среди Android.
• Samsung Galaxy S10 версия/S20 поддерживают как программное обеспечение двухмерное распознавание по снимку селфи-камерой, так и сканер ириса глаза.
• Huawei Mate20 Pro применяет набор из ИК-подсветки + Dot Projector + ToF-датчик

Проблемы безопасности и ложные срабатывания

Несмотря на поразительный успехи инноваций за недавние годы, совершенных системы пока не имеется:

1. Возможность подвоха: Доступные телефоны просто “разблокируются” четкой снимком владельца или же роликом с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые безупречные устройства могут ошибиться между монозиготными близнецами либо родичами с очень схожей внешностью.
3. Изменения облика: Внезапное утрата веса/увеличение массы тела, пластические операции либо повреждения в некоторых случаях требуют перерегистрации биометрии.
4. Условия записи: Яркая подсветка солнечным светом или же глубокая затенение могут снизить верность идентификации признаков.

Вот несколько подсказок для защищённому использованию:

• Для критически важных операций всегда применяйте двухэтапную аутентификацию;
• Не запускайте опцию “Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
• Регулярно обновляйте ПО смартфона для предотвращения угроз от современных угроз;
• Включайте опцию “Требовать раскрытых глаз” везде, где она имеется.

Где также находится применение технологии помимо мобильных телефонов?

Несмотря на то, что основная мысль нашей статьи сосредоточена на в частности портативным гаджетам, стоит упомянуть о альтернативных областях использования технологии:

• Мониторинг прохода в рабочих помещениях и жилых домах;
• Платёжные терминалы банков (“Face Pay”);
• Электронные удостоверения личности современного поколения;
• Установки видеомониторинга городских сервисов;
• Механизация учёта посещаемости образовательных учреждений/университетов;
• Вход юзеров ПК/ноутбуков.

Например: В московском метро уже проверяется система оплаты проезда по фейсу (“Face Pay”) — нужно лишь пройти через барьер без карты или мобильника! Схожие инициативы развиваются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как трансформируется техпроцесс в нынешнее время?

Каждый годочек проявляются современные концепции для улучшения уровня функционирования систем распознавания лиц:

1. Увеличивается детализация сенсоров — чем больше элементов фиксируется камерой/датчиками глубины, тем меньше вероятность ошибки;
2. Улучшаются нейросети — новейшие конструкции вида MobileNetV3 позволяют оперативно обучаться дополнительным чертам внешности обладателя прямо на устройстве без отправки данных в облако.
3. Улучшаются технологии антиспуфинга — теперь мобильные устройства могут различать реальные живые облики от фиксированных фото/маскировок по микроскопическим движениям кожи.
4. Синхронизация со смарт-гаджетами — умные часы могут автоматически закрыть доступ к смартфон, если владелец ушёл далеко.
5. Возникают смешанные механизмы — к примеру совмещающие голосовую аутентификацию + облик + пальцевой отпечаток.

Вот, какие тренды в особенности востребованы в данный момент:

1) Уменьшение элементов

Производители пытаются уменьшить габариты выреза (“чёлки”) для сенсоры на дисплее за счёт встраивания маленьких ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на аппарате

Для улучшения конфиденциальности всё более расчётов выполняется внутри устройства без отправки информации во дополнительный облачный услугу.

3) Упорядочивание норм

Google интенсивно продвигает норму BiometricPrompt API, с целью чтобы аналогичные платформы, например как вулкан россия, и все Android-приложения могли взаимодействовать с всеми формами биометрии унифицированно.

Какое подобрать сегодня?

Если вам всем нужна максимальная сохранность данных, подбирайте топовые устройства с вмонтированным ИК-проектором или ToF-сенсором глубины.

• iPhone всех существующих актуальных моделей
• Huawei Partner/Series P ряда
• Xiaomi Expert
• Vivo X серии
• Оппо Find Х серий.

Если бюджет ограничен – лучше отдавать предпочтение обычным методам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в вулкан россия, применять только как опциональную возможность комфорта.

Как улучшить комфорт функционирования опции?

Есть некоторые лайфхаков для пользователей, кто уже пользуется разблокировку через лицо:

1. Регулярно меняйте свою фото-шаблон, если кардинально меняется внешний вид.
2. Не упускайте из виду очищать объектив фронтальной камеры – загрязнения могут понизить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам активирует камеру когда вы берёте его в руки.
4. В процессе регистрации пытайтесь держать лицевую часть неподвижно перед объектива исключая сильного наклона головы.
5. Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она закрывает телефон, если вы отвернулись от дисплея.

Перспективы эволюции инноваций

В предстоящие годы можно предполагать возникновения полностью дистанционных способов опознания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + голос + манера ходьбы + манипуляции руками!

Также вероятно появление современных способов охраны конфиденциальности – к примеру, изменяющееся изменение электронного образца после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее захватывающих инноваций нашего эпохи! Она предоставляет взаимодействие со телефоном комфортнее чем когда-либо прежде, и такие аппы, как vulkan russia, могут в разы повысить ваш юзерский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы понимаете, как устроена эта система внутри, – сможете более осмысленно определять свой следующий гаджет!