Группа исследователей из MIT разработала принцип математического представления окружающего пространства для роботов
Оно копирует человеческое восприятие и базируется на библиотеке Kimera с открытым исходным кодом
С её помощью достигается объединение информации от камер,
инерциальных измерительных модулей и других датчиков
Благодаря этому роботы выполняют одновременное построение 3D-модели среды и выделяют в ней отдельные объекты – как статичные, так и движущиеся
Всё это происходит в режиме реального времени и подходит для автономной навигации в сложных условиях — например, в магазинах, офисах и аэропортах
Kimera создает плотную семантическую трёхмерную сетку, состоящую из четырёх логических слоёв
Она выделяет периодические структуры (например, окна или элементы ограждения), отдельные зоны (комнаты, ряды), позволяя быстро отслеживать любые перемещения
Чтобы создать семантическую трехмерную сетку, Kimera использует существующую нейронную сеть
У авторов работы она была предварительно обучена на миллионах реальных изображений
Нейросеть позволяет точнее выполнить 2D-3D преобразование, используя технику рендеринга в реальном времени, заимствованную из компьютерных игр
Наглядное сравнение систем автономного пилотирования в ролике ниже выполнено в виртуальном пространстве, смоделированном при помощи Unity
Оно показывает, что с Kimera дрон уверенно выполняет навигацию по офисному помещению, быстро выделяет движущихся людей и уклоняется от столкновений
Работа выполнена под руководством доцента кафедры аэронавтики и космонавтики Массачусетского технологического института Луки Карлона
Вместе с аспирантом MIT Антони Росинол он представил свои результаты на виртуальной конференции Robotics: Science and Systems, прошедшей с 12 по 16 июля
https://arxiv.org/abs/2002.06289
https://github.com/MIT-SPARK/Kimera
https://arxiv.org/abs/1910.02490