Microsoft разработал программу для слепых Seeing AI, которая умеет «сканировать» окружающее пространство и описывать его словами. Эта технология теперь доступна владельцам iPhone в виде отдельного приложения, сообщает РБК.
Открыв Seeing AI на устройстве, можно навести камеру на объект, программа распознает его и скажет, что перед вами. Если поймать в кадр человека, приложение сообщит о его возрасте (молод или стар) и эмоциональном состоянии (улыбается или хмурится). Оно также «узнает» человека, если он попадал в объектив ранее. Seeing AI помогает распознавать денежные купюры: доллары США одинакового размера и тактильно отличить банкноты разной ценности невозможно.
Технический руководитель проекта, незрячий программист Сакиб Шаих, рассказал, что обычно использует Seeing AI для чтения указателей и меню.
Приложение выстроено на основе нейросетей, именно эта технология используется, например, в самоуправляемых автомобилях и программах распознавания изображений. Большинство данных обрабатывается процессором iPhone, поэтому в постоянном подключении к интернету нет необходимости. Однако для некоторых экспериментальных функций, таких как описание всей сцены вокруг или распознавания текста, написанного от руки, может понадобиться связь с облаком.
Microsoft впервые представила прототип Seeing AI в марте 2016 года. На данный момент приложение доступно владельцам iPhone, и скачать его можно лишь в американском App Store. Поддерживается пока только на английском языке.
