Как действует определение лиц в мобильных устройствах

Для чего мы предпочитаем разблокировку по фейсу

В последние времена определение физиономий стало одной из наиболее востребованных возможностей для открытия умных телефонов. Лишь пару лет ранее большинство юзеров довольствовались пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением подобных технологий, как Вулкан Платинум, нам достаточно лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь делает эту конкретную особенность такой востребованной? Для начала, это практично: не нужно запоминать сложные пароли или находить верный палец в темноте. Также, это оперативно: современные системы идентифицируют лицо буквально за доли секунды. В-третью очередь, это впечатление футуризма — будто в кинофильмах про вулкан платинум агентов.

Тем не менее за этой на первый взгляд несложностью прячется весь универсум сложных технологий и инженерных концепций. Позвольте нам разобраться, как точно работает фейсканирование в новейших мобильных телефонах, какие существуют технологии, насколько они безопасны и что нас ожидает в будущем.

Краткая история эволюции техники

Идентификация лиц как технология присутствует уже более пятидесяти годов. Начальные эксперименты машинного исследования лица были предприняты еще в 1960-х годы в лабораториях США. Тогда вычислительные машины могли лишь обозначать силуэты головы и измерять дистанции между очами и ртом на монохромных фотографиях.

Первые торговые платформы возникли в 90-х, но они были несовершенны: работали медленно и часто давали сбои. Только с эволюцией нейронных сетей и таких платформ, как Vulkan Platinum, мощных мобильных микросхем распознавание лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным сканированием лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали интегрировать собственные разработки.

Ключевые стадии функционирования устройства определения

Процесс определения лица можно условно разделить на несколько ключевых этапов:

Идентификация лица — устройство распознает наличие людского лица в кадре.
Определение характеристик — алгоритм анализирует особенности лица: конфигурацию зрительных органов, носа, уст, расположение бровей.
Построение структуры — создаётся неповторимый электронный отпечаток (faceprint) на основе определённых признаков.
Сравнение с стандартом — созданный образец сопоставляется со зафиксированной при регистрации биометрической данными владельца.
Принятие выбора — если совпадение достаточно высокое, смартфон разблокируется.

Каждый из данных этапов запрашивает особых алгоритмов и улучшений для оперативной работы непосредственно на девайсе.

Аппаратные элементы: что скрыто внутри них

Обычная селфи камера.

Наиболее несложный способ распознавания облика применяет лишь переднюю камеру смартфона смартфона. Подобный подход внедрён во различных недорогих моделях Android-девайсов.

Преимущества:

Необходимо требует дополнительных датчиков.
Быстро функционирует при хорошем освещении.

Слабые стороны:

Просто ввести в заблуждение фотографией или видео.
Плохо действует при плохом освещении или непривычных точках зрения.

ИК камера и пунктирный проектор

Более совершенные системы, такие как Vulkan Platinum, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс является основой Face ID от Apple.

Каким способом это действует:

Точечный проекционный прибор показывает на физиономию юзера невидимую сетку из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 меток).
ИК камера фиксирует изменение формы данной решетки по поверхности физиономии.
Создаётся трехмерная карта глубины, которая практически невозможна для имитации обычной фотографией или маской.

Достоинства

Надёжная функционирование даже в полной тьме.
Высокая устойчивость к подделкам.
Точность определения более 99%.

Дополнительные датчики

В отдельных девайсах применяются также дополнительные датчики: ToF (Time-of-Flight), которые измеряют время прохождения света до цели и обратно; Трехцветные-датчики дальности; специальные оптические лидары для создания более точной 3D-модели физиономии.

Эти разработки используются в основном во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искусственный интеллект на действии

Текущие системы опознания физиономий невозможны в отсутствие применения искусственного интеллекта и machine learning. Именно благодаря таким разработкам, как Vulkan Platinum, аппарат в состоянии узнавать владельца даже при изменениях внешнего вида: новая укладка, щетина, очки или косметика не становятся барьером для деблокировки.

Детектирование лиц

При начальном шаге программа обязана оперативно распознать ликовое изображение внутри полного снимка камеры. Для этого применяются многоуровневые классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые “обучены” находить человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN способен распознавать физиономию даже при неполном перекрытии (например, шалью или ладонью).

Идентификация важных аспектов

После распознавания лица устройство, такая как Vulkan Platinum, вычисляет местоположение основных точек: кончики глаз, верхушка носа, контуры губ и так далее. Как правило задействуется от 68 до 128 основных маркеров на лице.

Это требуется для стабилизации изображения: если юзер держит смартфон под наклоненным, или повернул головку, программа корректирует изображение до обычного угла для дальнейшего анализа.

Построение биометрического шаблона

Далее искусственная сеть строит уплотненное математическое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след лица длиной от 128 до 512 флоатов.

Данный шаблон весьма затруднительно подделать: он не хранит непосредственно изображение юзера, а лишь исключительные характеристики его вида, что делает его идеальным для таких площадок, как Вулкан Казино Платинум.

Сравнение и принятие решения

Если юзер хочет открыть мобильник глазами, система повторяет все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает определённый уровень (обычно превышает 99%), телефон, как и платформа Вулкан Казино Платинум, открывается; если нет — доступ не предоставляется.

Привыкание к трансформациям облика

Занимательная черта современных систем — способность самостоятельного обучения. Если вы постоянно открываете мобильное устройство с обновленной прической или очками, программа постепенно обновляет базовый модель вашего облика для увеличения точности действия без ухудшения безопасности.

Безопасность биометрии информации.

Многие юзеры опасаются хранить свои биометрические данные на телефоне из-за угрозы утечки данных или взлома устройства. Некоторые фирмы, например Вулкан Казино Платинум, предоставляют варианты для повышения сохранности сведений клиентов.

Локальное хранение: Преимущественно устройств сохраняет био-идентификационные образцы только в пределах безопасного чипа Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не покидают аппарат и недоступны в том числе производителю.
Шифрование: Все сведения сберегаются только в кодированном виде с использованием современных криптографических алгоритмов AES256.
Изоляция программ: Приложения сторонних разработчиков не имеют прямого возможности доступа к биометрическим данным; они могут лишь требовать подтверждение подтверждения личности через системный API.

Необходимо упомянуть важную деталь: в случае, если какой-то человек достанет физический доступ к вашему телефону (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество производители реализуют систему защиты от автоматического разблокирования — в частности, просят разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют категории распознавания лиц на изображениях?

На сегодняшний день можно выделить выделить 3 основных метода к выполнению этой задачи:

Программное двухмерное определение

Применяется только лицевая камера без дополнительных детекторов глубины. Такой способ встречается чаще всего в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота воплощения; умеренная стоимость; скоростная работа при хорошем свете.
Минусы: просто обмануть фотографией; нестабильная работа ночью; низкая защищенность.

Аппаратное трёхмерное сканирование

Использует инфракрасную видеокамеру + проекционный модуль пикселей + сенсоры глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Преимущества: большая надёжность; невозможно обмануть изображение/видеозапись; постоянная функционирование в любых условиях освещения.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Смешанные методы с ИИ-дополнением

Применяют комбинацию программных методов + аппаратно-техническую обработку + постобработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например Vulkan Platinum и Google Pixel Face Unlock современных поколений, объединяют фронтальную камеру c ИК датчиком мобильности Soli Radar для защиты от фальсификаций руками/масками/видеоэкранами посторонних устройств.

Примеры эксплуатации разнообразных техник

iPhone серии X/11/12/13/14 используют только физическое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition в первый раз представил подобие Face ID среди Android.
Samsung Galaxy S10 модель/S20 поддерживают как программное 2D идентификацию по изображению фронтальной камерой, так и сенсор глазного ириса.
Huawei Mate20 Pro задействует набор из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Трудности защиты и неверные срабатывания

Несмотря на замечательный развитие инноваций за недавние лет, идеальных системы пока не наблюдается:

Шанс подвоха: Доступные смартфоны без труда “разблокируются” качественной снимком хозяина либо роликом с дисплея иного гаджета.
Идентичные двойняшки: Даже самые безупречные системы могут спутать между однояйцевыми близнецами либо семьями с очень похожей внешностью.
Изменения облика: Внезапное утрата веса/увеличение массы тела, пластические операции либо повреждения иногда необходимы для обновления данных биометрических данных.
Условия записи: Яркая подсветка солнечным светом либо интенсивная затенение могут уменьшить точность определения признаков.

Вот некоторые советов для защищённому использованию:

Для значимых операций всегда используйте дополнительную аутентификацию;
Не запускайте опцию “Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
Систематически обновляйте прошивку программное обеспечение смартфона для предотвращения угроз от современных угроз;
Включайте функцию “Требовать открытых глаз” в тех местах, где она имеется.

В каких местах дополнительно используется технологии за исключением мобильных телефонов?

Хотя тема этой работы касается в частности портативным гаджетам, необходимо сказать о других сферах применения технологии:

Контроль входа в деловых центрах и многоквартирных зданиях;
Платёжные устройства финансовых учреждений (“Face Pay”);
Цифровые удостоверения личности современного типа;
Установки видеонаблюдения городских подразделений;
Автоматизация регистрации явки школ/университетов;
Вход пользователей персональных компьютеров/ноутбуков.

Например: В московском метро уже проверяется система оплаты проезда по фейсу (“Face Pay”) — хватит пройти через барьер без карты или телефона! Аналогичные программы реализуются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Как меняется технический процесс в нынешнее время?

Всякий год появляются свежие идеи для повышения уровня работы систем распознавания лиц:

Увеличивается чёткость сенсоров — чем больше информации фиксируется видеокамерой/глубинными сенсорами, тем меньше риск погрешности;
Улучшаются искусственные интеллекты — передовые структуры модели MobileNetV3 обеспечивают возможность оперативно адаптироваться к новым чертам вида пользователя напрямую на гаджете без пересылки информации в облачное хранилище.
Улучшаются способы антиспуфинга — теперь смартфоны способны отличать реальные анимированные облики от неподвижных фото/масок по незаметным микродвижениям.
Интеграция со интеллектуальными приборами — смарт-часы могут авто закрыть доступ к телефон, если обладатель ушёл далеко.
Возникают гибридные системы — например совмещающие аудио опознание + физиономию + дактилоскопический след.

Вот, которые тенденции очень востребованы сейчас:

1) Уменьшение деталей

Производители стараются уменьшить размер прорези (“чёлки”) для датчики на дисплее за счёт внедрения миниатюрных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на устройстве

Для увеличения конфиденциальности всё более обработки данных выполняется внутри устройства без отправки информации во внешний облачный сервис.

3) Стандартизация норм

Гугл интенсивно продвигает эталон BiometricPrompt API, для того чтобы такие площадки, как Вулкан Платинум, и любые Android-программы могли взаимодействовать с всеми формами биометрии унифицированно.

Что решить на сегодня?

Если вам важна предельная сохранность информации, выбирайте топовые модели с интегрированным ИК-проектором или ToF-сенсором глубины.

iPhone всех последних версий
Huawei Mate/P ряда
Xiaomi Professional
Vivo X линейки
Oppo Find Икс серии.

Если бюджет ограничен – лучше выбирать классическим средствам защиты (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в Вулкан Платинум, применять только как второстепенную возможность комфорта.

Каким образом повысить комфорт использования опции?

Есть несколько советов для пользователей, кто уже применяет разблокировку по лицу:

Часто обновляйте свою фото-шаблон, если сильно трансформируется облик.
Не упускайте из виду чистить линзу передней камеры – пятна могут уменьшить точность!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам включает камеру как только вы поднимаете его.
При регистрационного процесса старайтесь сохранять голову ровно перед видеоустройства не допуская резкого наклона головы.
Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отворачиваетесь от экрана.

Будущее прогресса техники

В ближайшие периоды можно предвкушать развития полностью дистанционных способов распознавания человека сразу по нескольким биометрическим данным параметрам одновременно: физиономия + звучание + походка + движения рук!

Также возможно возникновение современных способов обеспечения приватности – например, динамическое изменение электронного шаблона после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее интересных технологий нашего периода! Она делает взаимодействие со мобильным устройством проще чем до этого, и такие программы, как Вулкан Казино Платинум, могут значительно оптимизировать ваш юзерский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы понимаете, как функционирует эта технология внутри, – сможете вдумчиво определять свой будущий гаджет!