Чтобы помогать людям с домашними делами и другими повседневными ручными задачами, роботы должны уметь эффективно манипулировать объектами, которые различаются по составу, форме и размеру. Манипуляционные навыки роботов значительно улучшились за последние несколько лет, отчасти из-за разработки все более сложных камер и тактильных датчиков.
Исследователи из Колумбийского университета разработали новую систему, которая одновременно захватывает как визуальную, так и тактильную информацию. Разработанный ими тактильный датчик, представленный в докладе, представленном на Конференции по обучению роботов ( CoRL ) 2024 в Мюнхене, может быть интегрирован в роботизированные захваты и руки, чтобы еще больше улучшить навыки манипуляции роботов с различной структурой тела.
Статья опубликована на сервере препринтов arXiv.
«Люди воспринимают окружающую среду с помощью множества сенсорных модальностей, среди которых осязание играет решающую роль в понимании физических взаимодействий», — рассказал Tech Xplore старший автор статьи Юньчжу Ли. «Наша цель — оснастить роботов аналогичными возможностями, позволяя им воспринимать окружающую среду как зрением, так и осязанием для выполнения мелких роботизированных манипуляционных задач».
В рамках своего исследования ученые намеревались разработать многомодальную сенсорную систему, которую можно было бы использовать для сбора как визуальных данных , которые можно использовать для оценки положения объектов в поле зрения и их геометрии, так и тактильной информации, такой как местоположение контакта, сила и локальные закономерности взаимодействия.
Разработанная ими интегрированная многомодальная система обнаружения и обучения, получившая название 3D-ViTac, может предоставить роботам новые сенсорные возможности, что позволит им лучше справляться с задачами манипуляции в реальном мире.
«По сравнению с существующими современными решениями, особенно с оптическими датчиками, наш датчик тонкий, как лист бумаги, гибкий, масштабируемый и более надежный для долгосрочного использования и сбора больших объемов данных», — пояснил Ли.
«В сочетании с визуальным наблюдением мы разработали комплексную имитационную структуру, которая позволяет роботам выполнять различные манипуляционные задачи, демонстрируя значительные улучшения в безопасном взаимодействии с хрупкими предметами и долгосрочных задачах, связанных с манипуляциями руками».
Ли и его коллеги протестировали свой датчик и сквозную структуру имитационного обучения, которую они разработали в серии экспериментов с использованием реальной роботизированной системы. В частности, они интегрировали два своих листообразных сенсорных устройства на каждую из плавниковых рук роботизированного захвата.
Затем команда протестировала производительность захвата на четырех сложных манипуляционных задачах, включая приготовление яйца на пару, размещение винограда на тарелке, захват шестигранного ключа и подачу сэндвича. Результаты этих первоначальных тестов были весьма многообещающими, поскольку их датчик, по-видимому, улучшил способность захвата успешно выполнять все задачи.
«Мы демонстрируем, что предлагаемая нами визуально-тактильная имитационная структура обучения позволяет даже недорогим роботам выполнять точные манипуляционные задачи», — сказал Ли. «Она значительно превосходит подходы, основанные только на зрении, особенно при обращении с хрупкими объектами и достижении высокой точности в мелкозернистых манипуляциях».
Новый датчик, разработанный этой группой исследователей, вскоре может быть развернут на других роботизированных системах и оценен в более широком диапазоне задач по манипулированию объектами, требующих высокого уровня точности. Тем временем Ли и его коллеги планируют разработать методы моделирования и стратегии интеграции, которые могли бы облегчить применение и тестирование их датчика на других роботах.
«В наших следующих исследованиях мы намерены разработать методы моделирования тактильных сигналов, изучить способы интеграции датчика в ловкие роботизированные руки и поверхности большего размера (например, кожу робота ), а также демократизировать тактильные ощущения в робототехнике», — добавил Ли.
«Это облегчит сбор крупномасштабных данных и будет способствовать созданию мультимодальных моделей робототехники, которые лучше понимают физическое взаимодействие посредством прикосновения».