Применение алгоритма стереосопоставления, основанного на переносе обучения роботов в нескольких сценах.

Jul 07, 2023

Том 13 научных отчетов, номер статьи: 12739 (2023) Цитировать эту статью

825 Доступов

4 Альтметрика

Подробности о метриках

Технология роботизированного зрения, основанная на бинокулярном зрении, имеет огромный потенциал для развития в различных областях, включая 3D-реконструкцию сцены, обнаружение целей и автономное вождение. Однако современные методы бинокулярного зрения, используемые в робототехнике, имеют ограничения, такие как высокая стоимость, сложные алгоритмы и низкая надежность создаваемой карты несоответствия в различных сценах. Чтобы преодолеть эти проблемы, в этой статье был предложен алгоритм междоменного стереосопоставления для бинокулярного зрения, основанный на трансферном обучении, под названием «Сеть междоменной адаптации и трансферного обучения» (Ct-Net), который показал ценные результаты в нескольких сценах с роботами. Во-первых, в этой статье представлен экстрактор общих функций для извлечения обширной информации об общих функциях для задач адаптивного стереосопоставления предметной области. Затем используется адаптер функций для адаптации общих функций к сети стереосогласования. Кроме того, модуль адаптивной оптимизации затрат домена предназначен для оптимизации соответствующих затрат. Также был встроен модуль прогнозирования оценки неравенства для адаптивной настройки диапазона поиска неравенства и оптимизации распределения затрат. Общая структура была обучена с использованием поэтапной стратегии, и были проведены эксперименты по абляции для проверки эффективности стратегии обучения. По сравнению с прототипом PSMNet в тесте KITTI 2015 3PE-fg Ct-Net во всех регионах и незакрытых регионах снизился на 19,3 и 21,1% соответственно, в то время как на наборе данных Миддлбери предложенный алгоритм улучшает частоту ошибок выборки. не менее 28,4%, что соответствует выборке «Лестница». Количественные и качественные результаты, полученные из наборов данных Middlebury, Apollo и других, демонстрируют, что Ct-Net значительно улучшает междоменную производительность стереосопоставления. Эксперименты по сопоставлению стерео в реальных сценах показали, что оно может эффективно решать визуальные задачи в нескольких сценах.

В последние годы роботы стали важными помощниками в различных областях, включая реконструкцию 3D-сцены, обнаружение целей, автономное вождение и другие. Повсеместное применение робототехнических технологий в различных отраслях способствовало повышению их важной роли в современной жизни. Компьютерное зрение, технология, которая имитирует зрительную систему человека и преобразует собранную информацию об изображении в информацию о целевых различиях, играет решающую роль в оказании роботам помощи в выполнении их задач. В настоящее время большинство роботов полагаются на дорогостоящее лазерное радиолокационное оборудование для получения высокоточной информации о несоответствии. Однако принцип бинокулярного зрения, который точно повторяет человеческий способ наблюдения за объектами, широко используется во многих зрительных задачах. Алгоритм бинокулярного стереосопоставления, фундаментальный компонент теории бинокулярного зрения, напрямую влияет на точность обнаружения цели роботом. Используя теорию бинокулярного зрения, робот может преобразовывать двухмерную информацию в трехмерную информацию целевой сцены, тем самым получая точную информацию целевой сцены.

Алгоритмы стереосопоставления имеют решающее значение для понимания 3D-сцен и их реконструкции и широко используются в различных областях, включая навигацию роботов1, автономное вождение2, виртуальную реальность3 и многие другие. Эти алгоритмы направлены на вычисление различий, которые представляют собой горизонтальное смещение соответствующих пикселей в двух выпрямленных стереопарах. Традиционные методы часто полагаются на предварительное знание изображения для построения функции стереосопоставления, которая позволяет создать плотную карту несоответствий4.

В настоящее время сверточные нейронные сети (CNN) широко используются в различных задачах зрения благодаря своим мощным возможностям представления функций, включая обнаружение объектов5, классификацию изображений6 и многое другое. В последние годы алгоритмы контролируемого стереосопоставления, основанные на CNN, значительно улучшили производительность стереосопоставления и стали основным направлением исследований. Основные этапы алгоритма контролируемого стереосопоставления на основе CNN включают извлечение признаков, построение затрат и оптимизацию затрат.