Разработка программно-аппаратного комплекса обеспечения движения по гладкой и пересечённой местности антропоморфных робототехнических комплексов с приводами переменной жёсткости

Соглашение № 14.606.21.0007 от 26.09.2017 г.

на период 2017 – 2020 гг. с Министерством образования и науки Российской Федерации в целях реализации Федеральной целевой программы "Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы".

Руководитель проекта:

доцент Университета Иннополис - Климчик А.С.

Индустриальный партнер:

ПАО «НПО Андроидная Техника»

Финансирование:

Средства субсидии: 60 млн. рублей.

Средства Индустриального партнера: 54,4 млн. рублей.

Собственные средства получателя субсидии: 30 млн. рублей.

Цели проекта:

  • Разработка универсального модульного кроссоплатформенного программно-­аппаратного комплекса обеспечения движения по гладкой и пересеченной местности антропоморфных робототехнических комплексов с приводами переменной жёсткости.
  • Разработка программно-аппаратного комплекса для интерактивной антропоморфной робототехнической платформы и взаимодействия её с человеком.
  • Разработка программного комплекса автономного движения антропоморфной робототехнической платформы по заранее известной и неизвестной динамически изменяющейся пересечённой местности.

Согласно план-графику исполнения обязательств, запланировано 4 этапа научно-исследовательской работы:

1 этап. Выбор направления исследований.

2 этап. Теоретические исследования поставленных перед ПНИ задач. Разработка экспериментального образца программного комплекса системы управления.

3 этап. Экспериментальные исследования поставленных перед ПНИ задач. Обобщение и оценка результатов исследований.

4 этап. Подведение итогов реализации проекта.

Результаты научно-исследовательской работы, полученные на 1 этапе:

За отчетный период выполнен аналитический обзор литературы и патентные исследования в рамках ПНИ, включая российские и зарубежные источники.

Объектами исследований явились существующие модели антропоморфных роботов (АР), способы моделирования механики движения, способы и системы управления механикой движения АР по гладкой и пересеченной местности, а также существующие модели и способы разработки и управления приводами переменной жесткости (ППЖ) и их имплементация на АР.

По результатам обзора и патентных исследований определены направления проведения исследований, а также обоснована эффективность предлагаемых к разработке методов и алгоритмов.

Далее была проведена разработка принципов действия и конструкции для от-работки алгоритмов управления ППЖ, отработки алгоритмов управления устойчивым движением АР с ППЖ и его калибровки, а также для отработки алгоритмов локализации и картографирования.

В результате получены схемы и описание основных компонентов для их дальнейшей разработки и изготовления.

Был проведен анализ, выбор и обоснование методов и средств разработки программной части комплекса.

Указаны преимущества и недостатки выбранных нами инструментов разработки.

Индустриальный партнер провел исследования существующих методов и технических решения для разработки конструкции АР с ППЖ с уточнением требований к конструкции ППЖ коленного и голеностопного модулей.

Полученные результаты показали необходимость усовершенствования узлов антропоморфной платформы AR601 для дальнейшего использования ППЖ.

С целью освещения и популяризации промежуточных результатов ПНИ сотрудники исследовательской группы приняли участие в ряде мероприятий, включая выступления на конференциях.

Результаты научно-исследовательской работы, полученные на 2 этапе:

В ходе выполнения данного этапа НИР были получены ряд существенных научных и технических результатов в области проектирования и управления двуногими шагающими роботами (ДШР) с приводами переменной жесткости (ППЖ) движущимися по пересеченной местности в различных режимах. Среди полученных результатов можно выделить группы, такие как результаты разработки новых методов управления и обработки сенсорной информации и их алгоритмической реализации, результаты разработки программного обеспечения, результаты проектирования и изготовления, и результаты экспериментальных исследований. Кроме этого, были выполнены другие необходимые согласно техническому заданию и календарному плану работы, такие как обнародование полученных результатов в научной периодике и участие в научно-технических мероприятиях.

Полученные результаты в области разработки способов управления шагающими роботами с приводами переменной жесткости для перемещения по неровным опорным поверхностям включают ряд компонент, в том числе:

  • разработка алгоритма выполнения движения типа «следуй за мной», в процессе которого робот непрерывно распознает оператора и поддерживает заданное расстояние до оператора;
  • разработка алгоритма одновременного картографирования и локализации робота, способного предоставлять карты местности, приемлемые для системы генерации шагов робота;
  • методы и алгоритмы генерации траекторий центра масс и точки нулевого момента робота, учитывающие свойства опорной поверхности, наличие неровностей, расположение стоп робота в процессе ходьбы и предоставляющие запас устойчивости;
  • методы и алгоритмы оценки качества траекторий центра масс и точки нулевого момента робота;
  • методы управления двуногим шагающим роботом с обратной связью учитывая ограничения на величины моментов приводов и наличие односторонних неудерживающих механических связей и наличия приводов переменной жесткости; реализация управления как оптимизационной задачи (задачи квадратичного программирования), управления как задачи предиктивного управления (от англ. model predictive control, MPC) и др.;
  • методы обеспечения энергоэффективности и надежности робота за счет организации управления с податливостью и снижения ударных воздействий при приобретении контакта с объектами окружения.

Полученные результаты в области разработки программного обеспечения включают:

  • программный комплекс управления движением шагающим роботом при перемещении по пересеченной местности состоящий из набора модулей, подключаемых библиотек и программных блоков;
  • модуль устойчивого передвижения АР с ППЖ для перемещения по пересечённой местности включающий блоки генерации траекторий, их анализа, блоки управления с обратной связью и др.;
  • модуль автономного перемещения и обхода препятствий АР в режиме «следуй за мной», «следуй впереди меня», «возврат на исходную точку», включающий систему распознавания препятствий и распознавания оператора, реализованный используя машинное обучение и глубокие искусственные нейронные сети;
  • модуль локальной и глобальной навигации и картографирования для антропоморфного робота для работы в режиме реального времени, реализующий обработку сенсорной информации, поступающей от систем типа LIDAR, и строящий карту местности позволяя роботу планировать перемещение по этой карте используя алгоритмы планирования последовательностей шагов;
  • модуль удалённого управления антропоморфной робототехнической платформой, реализующий интерактивные интерфейсы для оператора шагающего робота, позволяющие ему эффективно управлять роботом в режиме реального времени.

Полученные результаты в области проектирования и изготовления включают серию экспериментальных стендов, пригодных для отработки алгоритмов управления, разрабатываемых для двуногого шагающего робота с приводами переменной жесткости. В частности, разработанные стенды позволяют исследовать общие вопросы управления механическими системами с ППЖ, изучать вопросы организации управления с податливостью для механических систем с ППЖ, исследовать вопросы управления при наличии периодического контакта с опорной поверхностью и производить проверку работоспособности программного обеспечения, разработанного для антропоморфного робота. Результаты этих экспериментальных исследований приведены в отчете.

Были проведены дополнительные патентные исследования с использованием специализированных электронных патентных баз данных по классам МПК и ключевым словам, характеризующим область поиска, глубина поиска по классам МПК составила 20 лет, количество отобранных релевантных источников информации составило 66 единиц. По результатам исследований были поданы на регистрацию и получены два свидетельства о государственной регистрации программы для ЭВМ (№ 2018663251 от 24.10.2018 г. «Система управления мобильной робототехнической платформой с дифференциальным приводом»; № 2018663403 от 26.10.2018 г., «Система сравнения карт, полученных с помощью различных алгоритмов картографирования, с эталонными картами»).

С целью освещения и популяризации промежуточных результатов ПНИ сотрудники исследовательской группы приняли участие в ряде мероприятий, в том числе конференции «15th International Conference on Intelligent Autonomous Systems IAS-15», конференции «18th IFAC Conference on Technology, Culture and International Stability», конференции «Прогресс транспортных средств и систем-2018», заседании круглого стола по теме «Классические и перспективные задачи робототехники в интересах промышленных предприятий», конференции «ICARCV 2018».

В рамках проекта было закуплено необходимое оборудование и материалы. В частности, были приобретены Датчик силомоментный FTN-MINI40-E-5-NETBA-0,2 SI-40-2 - 2 шт., отладочные комплекты Jetson TX2 945-82771-0018-000 - 3 шт., датчик ORBIS SPI 5V 14M – 20 шт., актюатор ORBIS 6MM STD – 10 шт., актюатор ORBIS 8MM STD – 10 шт., электромотор T-Motor U8 Lite KV85 – 10 шт., подвес трёхосевой DYS BLG3SN для Sony NEX – 1 шт., контроллер для трёхосевого подвеса Alexmos SimpleBGC 32bit v3.0 – 1 шт., необходимые для проведения экспериментальных исследований и отладки работы системы управления с использования экспериментальных данных. Были закуплены высокопроизводительные вычислительные блоки (Core i9-8950HK (2,9GHz) Ultrasharp 15,6" IGZO UHD (3840x2160) Antiglare16GB (2x8GB) DDR4 512GB SSD Nv Quadro P2000 (4GB DDR5) 6 cell (97WHr) 2x Thunderbolt 3 Smart Card, FPR,TPM 3y W10 Pro) - 3 шт. для обработки сенсорной информации, проведения математических экспериментов, решения некоторых задач машинного обучения и др. Были приобретены 3D принтер Ultimaker S5 и комплект расходных материалов для изготовления экспериментальных стендов и решения задач быстрого прототипирования. Был приобретен источник питания ГОРН-К-48В/150А для проведения лабораторных исследований и тестов.

Поставленные в рамках данного этапа работ задачи были решены в полном объеме и позволяют перейти к следующему этапу НИР. Полученные результаты могут использоваться в проектах, связанных с проектированием и разработкой шагающих роботов различных типов, в особенности двуногих антропоморфных роботов. Эти результаты представляют самостоятельный научный интерес, связанный с затронутыми вопросами управления роботами с ППЖ, движущимися по пересеченной местности. Такого рода задачи ранее не рассматривались и их решение может позволить значительно расширить возможности антропоморфной техники и произвести должный экономический эффект.

Результаты научно-исследовательской работы, полученные на 3 этапе:

За период выполнения НИР были исследованы и разработаны программно-технические решения по обеспечению движения антропоморфного робота по гладкой и пересеченной местности с использованием приводов переменной жесткости. В ходе реализации задач проекта были разработаны математические модели управления движением робота с приводами переменной жесткости, локализации и картографирования для автономного движения, интерактивного управления роботом. Были разработаны экспериментальные стенды для отработки алгоритмов, создан экспериментальный образец программно-аппаратного комплекса антропоморфного робота с приводами переменной жесткости.

В ходе выполнения работ по последнему этапу было получено несколько значимых результатов.

Полученные результаты в области разработки программного обеспечения включают:


Разработаны следующие модули:

  • Модуль взаимодействия антропоморфного робота с человеком и окружающей средой с целью обеспечения формирование команд для манипуляторов робота для работы с предметами и человеком с учетом окружающей обстановки, используя систему технического зрения.
  • Двунаправленный речевой модуль, которой должен обеспечивать возможность голосового управления антропоморфным роботом, что включает в себя способность к распознаванию определенного количества голосовых команд («Следуй за мной», «В исходное положение» и т.п.) с возможностью их повторения для верификации результата распознавания команды.

  • Модуль для интерактивного управления и программирования АР с целью обеспечения возможности управления антропоморфным роботом с помощью жестов и средств дополненной реальности. Модуль должен обеспечивать распознавание не менее трех типов жестов («Приветствие», «Подойди ко мне», …) и выдачу соответствующих команд высокого уровня.

  • Модуль удалённого управления антропоморфной робототехнической платформой, который должен обеспечить возможность мониторинга параметров робота и удаленного управления им посредством беспроводного интернет-подключения при наличии стабильной сети Wi-Fi.

  • Завершена разработка алгоритмов и протоколов системы управления нижнего уровня управления ППЖ. Реализовано векторное управление, пропорционально-интегральный регулятор тока, разработано ПО нижнего уровня управления ППЖ: коленного узла модуля педипуляторного АР; голеностопного узла модуля педипуляторного АР

  • Проведена разработка алгоритмов обучения АР с ППЖ движению по ровной поверхности и пересечённой местности на основе нейронных и эволюционных алгоритмов.

  • Разработан программный комплекс обучения с подкреплением на основе Actor-Critic DDPG алгоритма, включающий в себя четыре нейронные сети. Провели обучение нейронной сети в среде OpenAI Gym BipedalWalker-V2. Алгоритм успешно справился с поставленной задачей.

  • Проведены виртуальные эксперименты по отработке алгоритмов обучения АР с ППЖ движению по ровной поверхности и пересечённой местности на основе нейронных и эволюционных алгоритмов с использованием виртуальной 3D-модели АР с ППЖ.

  • Проведена разработка программы и методики экспериментальных исследований ЭО ПАКАР с ППЖ на испытательном полигоне, разработка проекта технического задания на проведение ОКР, разработка и конструирование полигона для проведения экспериментальных исследований ЭО ПАКАР с ППЖ, изготовление и отладка полигона для проведения экспериментальных исследований ЭО ПАКАР с ППЖ, Выполнены экспериментальные исследования ЭО ПАКАР с ППЖ на испытательном полигоне. Проведена оценка РИД, полученных при выполнении ПНИ и проверка их соответствия требованиям ТЗ, с целью их вовлечения в хозяйственный оборот, проведены маркетинговые исследования с целью изучения перспектив коммерциализации РИД, полученных при выполнении ПНИ.
В ходе выполнения проекта были проведены дополнительные патентные исследования по результатам которых были поданные поданы заявки на получение охранных документов РИД и получено четыре свидетельства о государственной регистрации программ для ЭВМ:

- Уведомление о приеме и регистрации Заявки (ФИПС) на полезную модель «Упругая муфта регулируемой жесткости» № 2019129181 от 16.09.2019

 - Свидетельство № 2019661621 о государственной регистрации программы для ЭВМ «Программа построения опорных траекторий движения двуногого шагающего робота с помощью виртуальных связей» от 04.09.2019 г.

- Свидетельство № 2019661984 о государственной регистрации программы для ЭВМ «Набор инструментов для распознавания лиц» от 12.09.2019 г.

- Свидетельство № 2019662904 о государственной регистрации программы для ЭВМ «Система машинного обучения для определения реакций опорной поверхности в трехмерной постановке для антропоморфного шагающего робота с применением DNN» от 04.10.2019 г.

- Свидетельство № 2019662905 о государственной регистрации программы для ЭВМ «Система на основе CNN для распознавания свободных от препятствий областей на опорной поверхности для шагающего робота» от 04.10.2019 г.

С целью освещения и популяризации промежуточных результатов ПНИ сотрудники исследовательской группы приняли участие в ряде мероприятий, включая выступления на конференциях International Conference on Electromechanics and Robotics “Zavalishin's Readings”, 1st International Conference on Human Interaction and Emerging Technologies, International Conference on Objects, Components, Models and Patterns, TOOLS 2019, 2019 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM), участие в VI Ежегодной национальной выставке ВУЗПРОМЭКСПО-2019, в заседании круглого стола в рамках проведения Всероссийской конференции «Цифровая индустрия промышленной России» (ЦИПР 2019).

Поставленные в рамках данного этапа задачи были решены в полном объеме. Полученные результаты могут использоваться в проектах, связанных с проектированием и разработкой шагающих роботов различных типов, в особенности двуногих антропоморфных роботов. Эти результаты представляют самостоятельный научный интерес, связанный с затронутыми вопросами управления роботами с ППЖ, движущимися по пересеченной местности. Такого рода задачи ранее не рассматривались и их решение может позволить значительно расширить возможности антропоморфной техники и произвести должный экономический эффект. С точки зрения новизны предложенных к разработке научных и технологических решений, благодаря многоцелевому подходу к решению поставленных задач ПНИ и плотному взаимодействию с индустриальным партнером на всех этапах исследований, разрабатываемый комплекс алгоритмов и программно-аппаратных решении не уступает существующим аналогам по ключевым параметрам. Сопоставление с определяющими мировой уровень результатами аналогичных работ показало, что представленные к отчету результаты полностью соответствуют мировому уровню по качественно-количественным показателям.


В центре внимания

Сайт находится в технической разработке