Система технического зрения «Фасетка», созданная в НТЦ Робототехники и компьютерных технологий МФТИ при поддержке фонда НТИ, распознает местность в любое время суток и при любой погоде, позволяя беспилотнику ориентироваться там, где не работает GPS и ГЛОНАСС.
Это особенно важно для работы в зонах стихийных бедствий, техногенных аварий, при мониторинге трубопроводов и выполнения специальных задач в условиях радиомолчания. Испытания на вертолете и БПЛА подтвердили точность навигации до 6 метров при высоте 1000 метров. Разработка готова к интеграции в беспилотные комплексы, сообщили представители МФТИ.
Сегодня навигация беспилотников всецело зависит от спутниковой связи. Они слепнут в глубоких каньонах, серых зонах и в условиях подавления ГНСС сигналов. Иногда могут помочь методы визуальной ориентации, когда беспилотник использует заранее подготовленные карты местности.
Но и здесь возникают проблемы. Во-первых, ландшафт меняется — зимой снег скрывает привычные контуры. Во-вторых, изображения сложно распознать, когда съемка ведется под углом, а не строго вниз, что сильно ограничивает подвижность. Кроме того, многие системы выходят из строя в темное время суток и непогоду.
Эту задачу решили в НТЦ Робототехники и компьютерных технологий МФТИ, разработав систему «Фасетка». Это не просто софт, а полный конвейер: от физических датчиков до специализированного тензорного процессора. В составе «Фасетки» используется многоканальная система технического зрения, которая может включать видимый диапазон, ближний ИК, дальний ИК и радиолокационный канал.
Комплексирование этих каналов позволяет получать признаки, устойчивые к погоде, времени суток и сезонным изменениям. Например, тепловой контур здания остается зимой, радиолокационное изображение фиксирует макроструктуру леса, независимо от листвы.
Обработка строится на интеллектуальном тензорном алгоритме, который реализует глубокую семантическую сегментацию входных данных. Алгоритм выделяет не пиксели, а объекты: дороги, здания, русла рек, опоры ЛЭП. Именно эти ориентиры почти не меняются со сменой сезона или времени суток.
Выделенные объекты сопоставляются с эталонной спутниковой картой (Google, «Яндекс карты»), загруженной в память. Получается глобальное позиционирование, а не одометрия.
Классическая визуальная навигация требует, чтобы съемка велась строго в надир. «Фасетка» допускает отклонение камеры до 45 градусов от вертикали. Это достигается за счет обучения нейросети на синтезированных ракурсах и использования генеративных моделей.
То же касается сезонности: алгоритм обучен на данных разных сезонов, используя инвариантные семантические классы.
Ученые уже провели испытания системы «Фасетка» в составе как легких беспилотников, так и тяжелого вертолета Ми-8. Тесты моделировали полеты над территориями с разным ландшафтом, погодой и временем суток и в условиях подавления сигналов.
Результаты показали: на высоте 1000 метров точность определения координат достигает 6–15 метров в зависимости от условий. Медианная погрешность локализации – 30 метров на 1000 метров пути, а в реальных экспериментах на Ми-8 достигли СКО горизонтальной ошибки 5,2 метра.
Этого достаточно, чтобы беспилотник мог уверенно следовать по заданному маршруту или выходить в нужную точку.
Разработка готова к интеграции в беспилотные комплексы. В будущем ученые планируют сделать устройство еще меньше, адаптировать его для работы с более широким спектром устройств и беспилотников.
Работа выполнена при поддержке Фонда НТИ.