Как работает Xbox Kinect

Видеоигры больше не предназначены только для ловких пальцев и пальцев. Игровая индустрия начала двигаться полным ходом с появлением Wii консоль и теперь с Xbox Kinect от Microsoft. Исчезла потребность в контроллерах; это полноценная игра. В этой статье мы рассмотрим, как это работает, и после тщательного личного тестирования оценим, готова ли эта технология к использованию в прайм-тайм.

Этот маленький черный ящик содержит множество функций, которые позволяют геймерам быть контроллером и чувствовать, что они действительно находятся в игре. Когда мы услышали об этом датчике, дающем игрокам возможность превращать все свое тело в игровой контроллер, мы были убеждены, что нам просто необходимо выяснить, что на самом деле происходит внутри этого революционного устройства.

Xbox Kinect

Программного обеспечения

Программное обеспечение — это то, что делает Kinect прорывным устройством. Разработчики Kinect собрали невероятное количество данных о захвате движения реальных движущихся объектов в реальных сценариях. Обработка всех этих данных с помощью специального алгоритма машинного обучения искусственного интеллекта позволяет Kinect сопоставлять визуальные данные, которые он собирает, с моделями, представляющими людей разного происхождения (возраст, рост, пол, телосложение, одежда и т. д.). Это лишь один из способов, которыми разработчики смогли помочь Kinect «узнать» о его окружении и о том, что он на самом деле видит.

«Мозг» Kinect действительно является секретом. В системе хранится достаточно интеллекта, чтобы анализировать то, что она видит, и сопоставлять это с сохраненной коллекцией скелетных структур для интерпретации ваших движений. Как только мозг получает достаточно данных о частях вашего тела, он выводит эти справочные данные в упрощенную форму трехмерного аватара.Помимо измерения движений игрока, Kinect также должен оценивать расстояния до различных точек на вашем теле на протяжении всей игры. Для этого он использует множество датчиков и анализирует все эти данные 30 раз в секунду.

Кластеры компьютеров Microsoft — это «обучающийся мозг», питающий все Kinect.

Восприятие глубины с помощью инфракрасной камеры

Передача информации с камеры на экран телевизора, который вы видите

Аппаратное обеспечение

Kinect состоит из трех жизненно важных компонентов, которые работают вместе, чтобы обнаруживать ваше движение и создавать ваше физическое изображение на экране: цветная видеокамера VGA с RGB-подсветкой, датчик глубины и многонаправленный микрофон.

Камера распознает красный, зеленый и синий компоненты цвета, а также тип телосложения и черты лица. Он имеет разрешение 640×480 пикселей и частоту кадров 30 кадров в секунду. Это помогает в распознавании лиц и распознавании тела.

Датчик глубины содержит монохромный датчик CMOS и инфракрасный проектор, которые помогают создавать трехмерные изображения по всей комнате. Он также измеряет расстояние до каждой точки тела игрока, пропуская невидимый ближний инфракрасный свет и измеряя его «время полета» после того, как он отражается от объектов.

Микрофон на самом деле представляет собой массив из четырех микрофонов, которые могут изолировать голоса игрока от других фоновых шумов, позволяя игрокам использовать свои голоса в качестве дополнительной функции управления.

Эти компоненты объединяются для обнаружения и отслеживания 48 различных точек на теле каждого игрока и повторяются 30 раз в секунду.

Графическое изображение игрока Xbox
Сочетание аппаратного и программного обеспечения дает Kinect возможность создавать трехмерные изображения и распознавать людей в поле зрения. Он может анализировать человека перед собой и проходить через несколько «фильтров», пытаясь определить, какой тип строения тела соответствует правильному типу, запрограммированному в его системе.Данные постоянно передаются между Kinect и объектами в его поле зрения, а вы просто наслаждаетесь игровым персонажем, ничего не держа в руках.

Игра: Kinect Sports Hordles (Перепрыгивайте препятствия, не выходя из гостиной)
Как бы здорово ни звучало, что можно играть в игру без контроллера, это не ограничивается простыми играми в видеоигры. Существует множество возможных приложений с Kinect, далеких от игрового мира. Читайте о некоторых из действительно замечательных приложений ниже.

Роботизированные приложения

Поскольку Kinect имеет инфракрасный проектор, инфракрасную камеру и цветную камеру, это отличный инструмент для обработки изображений даже для роботов. Чтобы увеличить радиус действия и автономный характер роботов, они должны иметь возможность видеть окружающую их среду. Один из способов сделать это — одновременная локализация и сопоставление, или SLAM.

Традиционно такие датчики либо дороги и громоздки, либо дешевы и ненадежны. Лазерные массивы дороги и тяжелы и могут отображать только в двух измерениях. Стереокамеры легкие и могут отображать в 3D, но требуют колоссальной вычислительной мощности. Кен Конли из Willow Garage теперь может продать своего TurtleBot с Kinect за 500 долларов. Гигантская экономия по сравнению с предыдущей версией без Kinect, которая стоила более 250 000 долларов!

TurtleBot — это настраиваемая мобильная роботизированная платформа, основанная на платформе iRobot Create и использующая платформу ROS (Robot Operating System) с открытым исходным кодом. TurtleBot использует Kinect, чтобы видеть мир в 3D, а также для обнаружения и отслеживания людей. Прямо из коробки вы можете запрограммировать TurtleBot на построение карт вашего дома и переход от кухни к любимому месту в гостиной. Он также имеет возможность делать снимки вокруг вашего дома и склеивать их вместе, чтобы создать 360-градусную панораму.

С более мощными и надежными платформами пользователь также может давать жестовые команды для управления роботом, например роботом PR2, и даже дистанционно управлять конечностями, как если бы они были вашими собственными. Возможно, однажды мы сможем использовать их, чтобы поднимать для нас тяжелые предметы и выполнять другую работу по дому.

Научные приложения

В прошлом году аспирант Кен Манкофф пробрался в небольшую пещеру под ледником Рипербреен на Шпицбергене, Норвегия, с рюкзаком, в котором были ноутбук, аккумулятор и Kinect. Оказавшись внутри, он использовал датчик Kinect для сканирования пола пещеры в 3D, чтобы определить его размер и неровности на поверхности. Это помогает ученым лучше понять, как лед наверху течет к морю. Kinect быстро становится жизненно важным инструментом благодаря 3D-данным, которые он захватывает в видимом и инфракрасном диапазонах с очень высокой точностью.

Kinect находится в своей собственной лиге, эффективно захватывая 9 миллионов точек данных в секунду. Традиционные инструменты сканирования могут быть громоздкими и использовать LIDAR (Light Detection And Ranging) для отправки лазерных импульсов для точного измерения поверхности на многие мили, но эти системы стоят от 10 000 до 200 000 долларов, заказываются у специальных производителей и обслуживаются обученными профессионалами. С другой стороны, Kinect стоит около 120 долларов и измеряет в диапазоне от 3 до 16 футов и может поместиться в вашем кармане. Kinect — вдохновляющее устройство из-за его низкой стоимости, и большинство студентов уже знакомы с ним.

Маленький и дешевый едва ли означает неспособный. Kinect актуален даже в космосе. Наор Мовшовиц, планетолог, доктор философии. студент Калифорнийского университета в Санта-Круз, сказал, что данные будут полезны для будущих миссий, где нам, возможно, придется отклонять средние и большие астероиды, которые угрожают столкнуться с Землей.

У нас есть довольно хорошие данные о том, как объекты воздействуют на поверхность Земли, но чем отличаются удары при чрезвычайно низкой гравитации? Идея состоит в том, чтобы использовать один из самолетов НАСА с уменьшенной гравитацией для изучения того, как небольшой снаряд ударит по куче грязи, а Kinect будет использоваться для измерения трехмерного положения объектов, чтобы получить данные о том, как выбрасываются обломки после того, как снаряд упал. влияние.

Изображения: образец трехмерных данных, полученных при сканировании ледниковой пещеры с помощью Kinect. Кен Манкофф.

Язык знаков

Студенты из Технологический институт Джорджии созданный Копикат, платформа, предназначенная для сбора данных о жестах для системы распознавания ASL (американский язык жестов) и в качестве практического приложения, помогающего глухим детям развивать рабочую память и языковые навыки во время игры. Датчик Kinect помог устранить необходимость в цветных перчатках с акселерометрами на запястье. Цель состоит в том, чтобы поощрять более сложную конструкцию знаков, а не обычные одну или две знаковые фразы.

Резюме

Это не просто круто; это такой же важный инструмент, как компьютерная мышь. Хотя Kinect все еще находится в зачаточном состоянии, мы полностью ожидаем, что Kinect и его будущие поколения изменят не только то, как мы играем, но и то, как мы управляем всеми машинами в нашей жизни. Эта технология получает нашу самую высокую оценку!

Дополнительные ссылки:

Как работает обнаружение движения в Xbox Kinect www.wired.com/gadgetlab

Внутри мозга проекта Наталь www.popsci.com/gadgets

Ученые взламывают Kinect для изучения ледников и астероидов www.wired.com/wiredscience

10 лайфхаков, которые делают Microsoft Kinect убийственным контроллером www.wired.com/gadgetlab
Роберт Конг является выпускником Калифорнийский Поли, Сан-Луис-Обиспо в области электротехники. Его интересы включают спорт, фильмы, музыку и игры с крутыми новыми гаджетами.

Райан Уинтерс — менеджер по продукции в Jameco Electronics и Район залива, уроженец Калифорнии. В основном он самоучка, и его хобби включают работу с автомобилями и компьютерами, возню с электронными гаджетами и эксперименты с робототехникой.