Представьте, что вы возвращаетесь из магазина и выкладываете покупки на кухонном столе. При этом стол немедленно распознаёт лежащие на нём продукты и выводит рядом с ними виртуальные меню, "нажимая" на которые пальцем можно, к примеру, узнать об их калорийности, способах приготовления и совместимости или даже убрать в виртуальный ящик, занеся в базу данные сведения о дате приобретения, наименовании, количестве и весе
Примерно в этом и заключается внешняя сторона проекта OASIS, над котором работают учёные Intel Labs в американском городе Сиэттле, штат Вашингтон.
OASIS - это аббревиатура от Object-Aware Situated Interactive System,
что можно перевести как "интерактивная система, ориентированная на
распознавание объектов, расположенных в её зоне
действия". На самом деле смысл проекта несколько шире - сделать
возможным одновременное взаимодействие с реальными и виртуальными
предметами через естественный интуитивно понятный интерфейс.
При этом помимо собственно объектов, система распознаёт и жесты.
Возглавляет проект OASIS Беверли Гаррисон, старший
научный сотрудник Intel Labs Seattle. Она занимается интерактивными
системами уже более пятнадцати лет. Около четырёх лет назад в
Intel заинтересовались возможностью использования в таких системах
пикопроекторов, что и привело к созданию проекта OASIS. В состав
команды Гаррисон также входят аспиранты Университета штата
Вашингтон.
Действующий прототип интерактивной системы OASIS был
продемонстрирован летом 2010 года на конференции Research@Intel Day, а
подробнее о ней было рассказано на проходящем в эти дни
осеннем Форуме Intel для разработчиков (IDF Fall 2010). Система
формирует интерактивные поверхности, которые сами разработчики называют
"островами", в любых необходимых местах - например, на
кухонном рабочем столе.
Демонстрационный стенд системы OASIS.
При помощи пикопроекторов, камер глубины ("пролётных",
TOF-камер или RGB+D-камер) и алгоритмов распознавания объектов и жестов
OASIS может создавать интерактивные дисплеи практически
на любых плоских поверхностях.
Система отслеживает появление и изменение физических и виртуальных объектов, демонстрирует графический интерфейс, включая меню и кнопки, распознаёт жесты пользователя, а также выводит
разнообразный контент из локальных и удалённых баз данных, в том числе из интернета.
В системе, продемонстрированной на Research@Intel Day,
всё программное обеспечение OASIS работало на обычном ноутбуке Dell
Inspiron с двухгигагерцевым двухъядерным процессором. Среди
этого ПО есть самые разнообразные программы, включая софт для
трёхмерного рендеринга, калибровки, распознавания образов и формирования
графического интерфейса.
Компьютер не обязательно должен находиться на виду - его можно спрятать, например, в ящик стола, ведь всё взаимодействие с системой осуществляется через интерактивную
поверхность.
В процессе демонстрации в такую интерактивную поверхность
превратился выделенный на столе прямоугольник размером около 24 х 36
дюймов (61 х 91 см). В состав демонстрационного стенда
вошли светодиодный видеопроектор с разрешением SVGA и яркостью 170
люмен, а также TOF-камера, способная помимо цветной картинки с
разрешением 320 х 240 пикселей получать c помощью инфракрасных
датчиков данные о "глубине" этой картинки, то есть о расстоянии до
фиксируемых объектов. Камера была установлена на расстоянии около 30
дюймов (108 см) над столом. Производитель пикопроектора -
компания Microvision, камера была предоставлена фирмой PrimeSense.
По словам Беверли Гаррисон, все комплектующие, камера и проектор, использованные в демонстрационном стенде - это прототипы. Со временем она рассчитывает применять в системах OASIS
лазерные пикопроекторы, к достоинствам которых относятся миниатюрность и экономичность.
Дело в том, что подобным системам не требуются проекторы с
регулируемым фокусом: при стационарной установке, к примеру, над
кухонным столом нужно просто подобрать объектив с подходящим
фокусным расстоянием, а это означает возможность использовать
самые простые модели. Более того, для питания таких проекторов
достаточно низковольтных линий, которые обычно прокладываются в
кухонной мебели для подключения подсветки.
Гаррисон подчёркивает, что системы OASIS значительно дешевле,
чем интерактивные столы Microsoft Surface (о последнем поколении таких
столов мы писали весной) и гораздо проще в
установке. Ключевыми компонентами, благодаря которым стало
возможным создание подобной интерактивной системы, это камеры,
измеряющие глубину и пикопроекторы.
Действительно, OASIS - во многом плод самых современных технологий. Ведь ещё 15 лет назад системы распознавания мало в чём превосходили магазинные сканеры штрих-кодов, а видеопроекторы
были тяжёлыми и громоздкими и могли использоваться, в основном, в конференц-залах и домашних кинотеатрах.
Перед командой Беверли Гаррисон стояло три принципиальных задачи:
разработать теоретическую основу конструирования
объектно-ориентированных интерактивных систем; понять, каким образом
пользователи предпочитают взаимодействовать с такими системами и,
наконец, создать интерактивную систему, способную создавать свои
"островки" в обычной обстановке.
Ключевая особенность системы OASIS в её способности производить
над физическими объектами виртуальные действия, причём эти действия
кажутся пользователям совершенно естественными.
Система может создавать и удалять новые виртуальные объекты,
объединять их в группы и сохранять их для последующего использования.
Кроме того, существует возможность отменять ошибочные
команды.
Для распознавания физических объектов в OASIS применяется компьютерное "зрение". К примеру, если вы кладёте на кухонный стол апельсин, система при помощи камеры, программного
обеспечения и базы данных определяет, что это именно апельсин, а не помидор.
Затем пикопроектор "прикалывает" рядом с апельсином виртуальный ярлычок, над которым проецируется виртуальная кнопка. Как заверяют разработчики, ярлычок и кнопка появляются на столе
менее чем через секунду после того, как на него положен объект.
Когда вы кладёте на стол предмет, рядом с ним немедленно появляются виртуальный ярлычок и виртуальная кнопка, вызывающая меню.
После нажатия на виртуальную кнопку на стол выводится круговое меню,
в котором можно выбрать одно из нескольких действий: найти рецепты
приготовления блюд из апельсинов, найти похожие
фрукты или совместимые продукты, найти подробную информацию в
интернете или внести апельсины в список будущих покупок, указав их
точное количество.
В основе системы распознавания лежит трёхмерная модель стола,
на котором нет ни одного объекта. Когда на него помещаются новые
объекты, то OASIS сравнивает изначально пустую 3D-модель
с новой, рассчитывая глубину объектов на основе измерений в
инфракрасном свете. Более того, поскольку система имеет дело с
3D-моделью поверхности, она совершенно не обязательно должна быть
плоской.
Испытания показали, что OASIS работает с поверхностями практически любой фактуры - от полированного гранита до меди. Проблемы могут возникнуть лишь с отображением текстовых ярлыков и
меню: их будет сложно разобрать, к примеру, на дереве с выраженной волокнистой структурой.
Глава группы разработчиков OASIS Беверли Гаррисон и её интерактивная поверхность в действии.
Благодаря использованию камеры, измеряющей расстояние до объектов,
система способна отличить руку, проносящуюся над столом от пальца,
касающегося поверхности и нажимающего на
виртуальную кнопку. Для этого OASIS определяет расположение
кончика пальца в трёхмерном пространстве и устанавливает, не находится
ли он в определённой точке, перпендикулярной
поверхности.
О коммерческом использовании системы OASIS речь пока не идёт -
сначала надо устранить некоторые её недостатки. Пока непонятно, как
минимизировать влияние на работу системы других
источников инфракрасного света (например, пультов дистанционного
управления), как быть с прозрачными объектами (бутылками с водой) или
как сделать, чтобы система игнорировала украшения на
пальцах и руках. Впрочем, Гаррисон убеждена, что со всеми этими
проблемами удастся справиться уже в обозримом будущем.
Кроме того, OASIS станет ещё компактней: учёные планируют
так усовершенствовать аппаратное и программное обеспечение, чтобы она
могла работать на основе компьютеров с гигагерцевыми
процессорами Atom.
В перспективе подобная система может быть встроена в кухонную мебель и даже в смартфон, оснащённый пикопроектором, что позволит при необходимости превращать в интерактивные панели
любые поверхности. А области применения таких панелей, разумеется, вовсе не ограничиваются кухней.
Источник - "Популярная механика"