Google представила технологию под названием Project Gameface на прошлогоднем мероприятии I/O. Эта система, представленная для настольных устройств, позволяла вам управлять курсором мыши лицом. На мероприятии I/O в этом году было объявлено, что Project Gameface выйдет на Android. На вчерашнем мероприятии Google объявила, что Project Gameface станет открытым исходным кодом для разработчиков Android. Это означает, что Project Gameface можно интегрировать в приложения, и вскоре пользователи смогут управлять им с помощью лица, без какого-либо контакта.

      Для реализации этой функции Project Gameface использует базу данных выражений лица с камеры устройства и API обнаружения ориентиров лица MediaPipe. После обнаружения движений лица и головы они преобразуются в движения курсора и обеспечивается фейс-контроль. Проект Gameface изначально был представлен как функция доступности для геймеров, но он также может помочь людям с ограниченной подвижностью.

В прошлом году Google заявил, что эта технология может обнаруживать 468 точек на лице и назначать различные действия для каждого выражения лица. Например, можно определить такие действия, как смех при щелчке правой кнопкой мыши или подмигивание при щелчке левой кнопкой мыши. В будущем разработчики Android смогут реализовать их в приложениях для смартфонов.