eng
Выпуск #10/2022
Г. Карнуп, В. Наумов, О. Тельминов
ОБЗОР МЕТОДОВ УПРАВЛЕНИЯ ЭКЗОСКЕЛЕТАМИ: ОТ КНОПОК К НЕЙРОСЕТЯМ
ОБЗОР МЕТОДОВ УПРАВЛЕНИЯ ЭКЗОСКЕЛЕТАМИ: ОТ КНОПОК К НЕЙРОСЕТЯМ
Просмотры: 1320
DOI: 10.22184/1992-4178.2022.221.10.70.75
Рассматриваются различные системы управления экзоскелетами и нейросетевой алгоритм, разработанный в лаборатории нейроморфных систем АО «НИИМЭ».
Рассматриваются различные системы управления экзоскелетами и нейросетевой алгоритм, разработанный в лаборатории нейроморфных систем АО «НИИМЭ».
Теги: anthropomorphic robot exoskeleton neural network control algorithms strain gauges антропоморфный робот нейросетевые управляющие алгоритмы тензодатчики экзоскелет
Обзор методов
управления экзоскелетами:
от кнопок к нейросетям
Г. Карнуп 1, В. Наумов 2, О. Тельминов, к. т. н.3
В настоящее время существует множество задач, которые могут быть решены человеком. Однако человек обладает рядом недостатков, что не позволяет ему быстро и с высокой точностью достигать своих целей: недостаточная физическая сила, отсутствие многих функций, реализованных в машинных устройствах, и т. д. В некоторых задачах целесообразнее использовать роботы как полную замену человека. А в некоторых – необходима точность, мобильность и мастерство человека, объединенные с силовыми и функциональными показателями роботов. Например, выполнение сложных спасательных или специальных задач, сортировка и работа на складских и промышленных помещениях с постоянно изменяющимися условиями задачи, такими как параметры груза, его положение и т. д.
Создание человекоподобного робота является одной из основных задач робототехники. Робот будет проигрывать в большинстве конкретных задач, но будет наиболее универсальным. Результат подобной замены прекрасно демонстрирует система помощи хирурга «да Винчи» [1]. Данный робототехнический комплекс никогда не сможет заменить профессионального хирурга с многолетним опытом, но он способен повысить качество операций, выполняемых молодыми неопытными хирургами, до приемлемого уровня. Остается открытым вопрос, сколько таких молодых хирургов не станет профессионалами, так и оставшись операторами и менеджерами роботов, но статья не об этом. Робот, строение, поведение и особенности которого сходны с человеческими, называется антропоморфным (рис. 1). В перспективе это робот, по всем параметрам превосходящий человека.
Другим вариантом устранения недостатков человеческого функционала является использование экзоскелета [2] – механической конструкции, которую носит оператор и которая соответствует форме и кинематическим параметрам человеческого тела, предназначенной для увеличения грузоподъемности и функционала. Экзоскелет (рис. 2) работает механически параллельно человеческому телу и может приводиться в действие пассивно или активно (активный экзоскелет с приводами), используя систему приводов. Спектр применения экзоскелетов достаточно широк: медицина, а именно – реабилитация после травм спины, шеи и инсультов, работа с большими нагрузками в промышленности, решение специальных задач, устранение последствий ЧС и др.
Направление экзоскелетов и антропоморфной робототехники развивается стремительными темпами. Их использование в решении различных промышленных и медицинских задач способно кратно сократить расход человеческих ресурсов. Однако до сих пор остается до конца нерешенной проблема управления активными экзоскелетами. Самыми распространенными методами управления экзоскелетами, представленными на рынке, являются системы управления, принимающие сигналы с тензодатчиков либо кнопок пульта. Такие системы просты в исполнении, однако, их основной проблемой является большая временная задержка. Таким образом, скелет всегда догоняет пользователя. В качестве решения могут использоваться интеллектуальные методы, рассчитывающие траекторию движения экоскелета на несколько шагов вперед, что позволяет компенсировать задержку.
Первая часть статьи посвящена рассмотрению различных систем управления экзоскелетами, во второй – рассматривается нейросетевой алгоритм, разработанный в лаборатории нейроморфных систем АО «НИИМЭ».
Тензодатчики
Ключевая проблема сегодняшних интерфейсов – задержка по времени. Она составляет какие-то сотые или даже тысячные доли секунды, но и это слишком много, так как, чтобы совершать сложные движения и держать баланс, человеческий мозг управляет конечностями на опережение. Экзоскелет же всегда догоняет оператора: датчики считывают, какое движение совершает пользователь, и дают команду приводам повторить его. Контакт оператора с каркасом экзоскелета может обеспечиваться обратной связью с помощью тензодатчиков, которые представляют собой датчики нагрузки [2]. Данные датчики относятся к пропорциональным и необходимы для борьбы с вибрацией приводов экзоскелета и для обеспечения плавности хода экзоскелета.
Тензодатчики работают на сдвиге фазы между опорной частотой и частотой, прошедшей через деформирующийся под воздействием силы проводник или оптоволокно. Принцип действия датчика заключается в способности преобразовывать обычную силу в аналоговый сигнал. На основании этого экзоскелет будет пилотироваться по принципу электродистанционной системы управления, которая сейчас активно применяется для летательных аппаратов, с использованием отрицательной обратной связи, обеспечивающей слежение за входным сигналом. С помощью тензодатчиков-приемников, которые плавно меняют выходной сигнал пропорционально входному действию, считываются механические перемещения конечностей тела оператора, далее они преобразуются в аналоговые или цифровые электрические сигналы и передаются по электропроводам посредством отрицательной обратной связи.
Совершенствование датчиков – ключевое направление развития активных экзоскелетов. Их разновидностей довольно много. Тензодатчики похожи на те, что применяются в электрических весах. Они измеряют давление, которое пользователь прикладывает к своему механическому костюму. Недостаток тензодатчиков в том, что они требуют плотного контакта с экзоскелетом и весьма приблизительно считывают направление движения. Тем не менее, такой тип датчиков активно применяется в современных экзоскелетах промышленного назначения, таких как PROEXO.
Ручной ввод данных пользователем
Пользователь непосредственно определяет режим работы экзоскелета, используя такие устройства ввода, как кнопки [3, 4] или голосовые команды [5]. Эти методы в настоящее время являются наиболее распространенными благодаря простоте реализации, большей предсказуемости и меньшему риску ошибок. Однако эти преимущества достигаются ценой дополнительного участия пользователя, что делает пользовательский опыт менее естественным, увеличивает когнитивную нагрузку и может замедлить работу. Более того, этот метод также подвержен человеческим ошибкам, которые более вероятны при выполнении сложных задач, длительном времени работы или при работе с начинающими / отвлекающимися пользователями. В этом случае задача состоит в том, чтобы сделать пользовательский интерфейс простым в использовании, чтобы минимизировать время обучения и риск ошибок манипулирования, а также быстрым, чтобы избежать потери времени на переходы.
Явный пользовательский ввод обычно используется в полномобильных экзоскелетах для пациентов с полной травмой спинного мозга, поскольку от ног пациента невозможно получить данные для ввода. Он также является наиболее предсказуемым для пользователя, что важно для доверия к устройству. В этом случае могут использоваться кнопки на ручке костыля или специальные наручные часы.
Голосовые команды не так распространены, поскольку они могут показаться неудобными в общественных местах. Кроме того, в шумной обстановке вероятность ошибки выше. В силу своей простоты управления подобные системы часто применяют в реабилитационных экзоскелетах, таких как ExoAtlet, E-Helper, Remotion и т. д. На начальных этапах реабилитации пациент помещается в экзоскелет, а специалист из медицинского персонала посредством пульта управляет приводами.
Интерфейс «мозг – компьютер»
Мозговая активность пользователя измеряется с помощью электродов, усиливается и анализируется для определения режима работы экзоскелета [6]. Среди различных методов регистрации сигналов мозга в настоящее время преимущественно используется электроэнцефалография (ЭЭГ), поскольку она является неинвазивной и, следовательно, более безопасна и проста в использовании. Несмотря на перспективность этих методов, существует множество практических проблем, связанных с ними, включая высокий уровень концентрации, требуемый от пользователя (и, следовательно, ограничивающий симуляцию когнитивной деятельности, например, речи), артефакты при мышечной активации (сигналы ЭЭГ на поверхности кожи головы имеют амплитуду, близкую к 100 мкВ [7], в то время как сигналы электромиографии (ЭМГ) составляют несколько милливольт), довольно длительные процедуры размещения электродов, необходимость обучения пользователя и алгоритма, а также очень медленную (порядка секунд) или ограниченную небольшим количеством команд работу [8].
Одним из ключевых недостатков таких систем является и тот факт, что области мозга, отвечающие за различные участки тела, находятся близко. Крайне сложно отличить движение правой руки от левой, не говоря уже о различии в работе мышц. Поэтому, для дальнейшего улучшения систем управления с применением ЭЭГ, необходимы колоссальные наборы данных и довольно глубокие нейронные сети.
Идентификация местности
Как правило, самым решающим фактором, определяющим режим работы и высокоуровневое поведение устройств для помощи при ходьбе, является рельеф местности. Поэтому информация о местности может быть использована для создания высокоуровневого контроллера для таких устройств. Встроенные датчики в контроллерах применяются для распознавания типа местности или препятствий перед устройством. Чаще всего датчики для таких контроллеров высокого уровня представляют собой камеры (обычные камеры видимого света [9] или 3D-датчики глубины [10]), но также используются и другие датчики, такие как инфракрасные датчики расстояния [11] или слияние лазерных датчиков расстояния и инерциального измерительного блока [12].
Идентификация местности недавно привлекла внимание специалистов, работающих в области ортопедии и протезирования, но объем литературы, посвященной этому вопросу, невелик. Даже существующие работы ограничены концептуальными реализациями, демонстрирующими работу алгоритмов идентификации рельефа без фактической интеграции их в высокоуровневый контроллер устройства [12, 13].
Эти методы обычно требуют больших вычислительных затрат из-за обработки изображений или облаков точек. Тем не менее, были продемонстрированы многообещающие результаты, и с развитием методов распознавания образов и машинного обучения можно ожидать успешной реализации таких контроллеров в будущих исследованиях.
Прогностическое управление модели
Прогностическое управление модели (Model Predictive Control, MPC) – это расширенный метод, который используется для управления процессом при соблюдении набора ограничений. Модели, применяемые в MPC, обычно предназначены для представления поведения сложных динамических систем. Данный метод основан на итеративном подходе: в момент времени t производится выборка текущего состояния какого-либо предприятия и вычисляется стратегия управления минимизацией затрат (с помощью алгоритма численной минимизации) для относительно короткого временного горизонта в будущем – [t, t + T].
В работе [14] разработан алгоритм MPC на основе нечеткой логики (Fuzzy Logic Algorithm, FLA) для выбора соответствующих вспомогательных режимов, при этом обеспечивая оптимальную силовую помощь с учетом усилия пользователя. Характер помощи превентивно адаптируется на основе мышечной активности пользователя, а именно на сигналах электромиографии (ЭМГ), которые генерируются до соответствующих движений человека. MPC был выбран для обеспечения оптимальной поддержки крутящего момента в течение прогнозируемого горизонта, используя при этом возможность предсказания намерения сигналов ЭМГ.
FLA оценивает режимы взаимодействия человека и робота, используя эталонную угловую скорость и крутящий момент человеческого сустава, оцененные по сигналам ЭМГ. MPC генерирует оптимальный крутящий момент экзоскелета, принимая во внимание эталонный угол сустава, предполагаемый крутящий момент человека и предполагаемый соответствующий режим помощи. Сигналы ЭМГ используются для оценки крутящего момента человеческого сустава, а предполагаемый крутящий момент человека используется FLA с эталонной скоростью сустава для создания режима помощи.
В статье предлагается контроллер AAN, который сочетает в себе ограниченный нелинейный подход MPC с FLA для обнаружения вспомогательного режима. Крутящий момент человека оценивается по обработанным сигналам ЭМГ с использованием линейной модели крутящего момента «агонист – антагонист». Хотя метод на основе ЭМГ зависит от измерения мышечной активности для определения выходного крутящего момента, этот метод выигрывает от расширенного прогнозирования поведения человека. Это дает преимущество перед подходами без датчиков, такими как нелинейные наблюдатели возмущений.
Еще одним преимуществом является отличие возмущения, вызванного человеческим усилием, от других внешних сил. Расчетный крутящий момент человека используется MPC для получения крутящего момента робота, необходимого для успешного движения по заданной траектории. Он также используется FLA для оценки состояния участия человека и выбора наиболее подходящего режима помощи. Предлагаемый контроллер позволяет это сделать без необходимости повторных обучающих испытаний, которые могут отнимать драгоценное время в клинических ситуациях.
Нейросетевые управляющие алгоритмы
Основная идея нейросетевых подходов заключается в использовании различного рода нейросетевых алгоритмов для обработки входных данных и предсказания на их основе дальнейшей траектории. Это, пожалуй, самый перспективный метод управления на сегодняшний день. Было выяснено, что наибольшую точность дают алгоритмы, обрабатывающие не только ЭМГ-данные мышц, но и кинематические параметры, такие как положение, скорость и ускорение.
Последние данные позволяют выполнять предсказание с привязкой к конкретному положению, а не абстрактному, как в случае анализа простого ЭМГ. Однако, в большинстве работ для получения данных ЭМГ применяются датчики высокой плотности, порядка 10–24 каналов на один участок, что является избыточным, дорогостоящим и неудобным в использовании. По сути, для понимания того, что руку необходимо согнуть, достаточно общего сигнала с двуглавой мышцы, и в зависимости от динамики движения ЭМГ-сигнал имеет различный вид. (Дело в том, что считываемый на поверхности сигнал является суммой сигналов всех мышц и меняет свой вид в зависимости от характера движения.) Идея предсказания траектории движения посредством нейросетевой обработки небольшого количества датчиков ЭМГ совместно с данными о положении руки зародилась у студентов 4‑го курса ФЭФМ МФТИ Карнупа Г. А. и Наумова В. О. Разработкой нейросетевого алгоритма управления экзоскелетом руки студенты занялись в лаборатории нейроморфных систем АО «НИИМЭ».
За основу взято предположение, что нейросеть, обрабатывая значения координаты и ЭМГ руки за конечный промежуток времени, способна предсказать ее положение в следующий промежуток. Причем, временная область предсказания должна быть больше суммы считываемой и расчетной, чтобы гарантированно обеспечить значения траектории. Система, считывающая данные, состоит из пяти ЭМГ-датчиков (по одному на двух- и трехглавую мышцу и три – на дельтовидную мышцу плеча), трех гибких резисторов, по которым отслеживается угол сгиба локтя и плеча в двух плоскостях. Считанные данные приходят на блок обработки и передачи, который выполняет первичную обработку и фильтрацию данных, после чего отправляет их по протоколу Wi-Fi на вычислитель. Этот же блок и управляет двигателями, получая предсказанную траекторию. Для удобства использования считывающая система расположена на компрессионном рукаве.
В качестве датчиков ЭМГ использовано решение отечественной компании ELEMYO. Было затруднительно использование зарубежных модулей обработки и передачи данных, а также комплектующих драйверов. Автор благодарен компании «ГетЧипс» за поиск аналогов. Внешний вид считывающей системы представлен рис. 3. Нейросетевые архитектуры были разработаны на основе существующих генеративных: автоэнкодера и рекуррентной. Причем, наибольшее быстродействие показал автоэнкодер с небольшим отставанием по точности от рекуррентной. Быстродействие играет в данном случае бóльшую роль, так как предсказания необходимо реализовывать в режиме реального времени. Конечный вид архитектуры представлен на рис. 4. Результат работы алгоритма можно увидеть на рис. 5. Точность потокового предсказания составляет 92,8%.
Применение в медицине
В России существует несколько компаний, разрабатывающих экзоскелеты с целью их применения в решении задач реабилитации. Однако все существующие решения охватывают работу только с нижними конечностями. В сотрудничестве с центром реабилитации после инсульта «Три Сестры» группа разработчиков из лаборатории нейроморфных систем АО «НИИМЭ» предлагает адаптацию своей разработки к решению задачи реабилитации. Суть заключается в использовании нейросетевого алгоритма, анализирующего поведение мышц при выполнении пациентом движений. На основе проведенного анализа производится миостимуляция мышц синхронно с движением экзоскелета. Последнее механически помогает пользователю в выполнении движений.
Разработка решает основную проблему, ограничивающую количество реабилитируемых пациентов, а именно – малое количество специалистов. На ранних этапах реабилитации ключевым фактором является ее интенсивность, и чем она больше, тем лучше результат. Так же подобные тренажеры, благодаря их простоте изготовления, можно сдавать в аренду, что дает шанс тренироваться надомным больным. Автоматизация пока части процессов реабилитации и увеличение числа пациентов, с которыми одновременно может работать один специалист, способно кратно увеличить число успешно реабилитированных пострадавших. Основным преимуществом предлагаемой разработки над конкурентами является миостимуляция, подстраиваемая под процесс работы мышц в реальном времени.
В настоящее время идет подготовка к открытию стартапа и поиск инвестиций под адаптацию технологии и дальнейшую разработку как медицинских, так и промышленно-спасательных версий экзоскелетов.
Литература
Brian M. Benway, Sam B. Bhayani, Craig G. Rogers, Lori M. Dulabon, Manish N. Patel, Michael E. Lipkin, Agnes J. Wang, Michael Stifelman. Robot assisted partial nephrectomy versus laparoscopic partial nephrectomy for renal tumors: a multi-institutional analysis of perioperative outcomes // The Journal of urology, 182 3:866–72, 2009.
Daniel Hernandez de la Iglesia, Sales Mendes, G. Villarrubia, Diego Jimenez-Bravo, Juan Santana. Connected elbow exoskeleton system for rehabilitation training based on virtual reality and context-aware // Sensors, 20:858, 02 2020.
Dany Gagnon, Manuel Escalona, Martin Vermette, Lıvia Carvalho, Antony Karelis, Cyril Duclos, Myl’ene Aubertin-Leheudre. Locomotor training using an overground robotic exoskeleton in long-term manual wheelchair users with a chronic spinal cord injury living in the community: Lessons learned from a feasibility study in terms of recruitment, attendance, learnability, performance and safety // Journal of NeuroEngineering and Rehabilitation, 15:12, 03 2018.
Alberto Esquenazi, Mukul Talaty, Andrew Packel, Michael Saulino. The rewalk powered exoskeleton to restore ambulatory function to individuals with thoracic-level motor-complete spinal cord injury // American journal of physical medicine rehabilitation / Association of Academic Physiatrists, 91:911–21, 11 2012.
Ryan Farris, Hugo Quintero, Michael Goldfarb. Preliminary evaluation of a powered lower limb orthosis to aid walking in paraplegic individuals // IEEE transactions on neural systems and rehabilitation engineering: a publication of the IEEE Engineering in Medicine and Biology Society, 19:652–9, 12 2011.
Junhyuk Choi, Keun-Tae Kim, Jaehyung Lee, Song Lee, Hyungmin Kim. Robust semi-synchronous bci controller for brain-actuated exoskeleton system. pages 1–3, 02 2020.
Webster JG. // Medical Instrumentation: application and Design. 4th ed. New York: Wiley, 2009.
Kyuhwa Lee, Dong Liu, Laetitia Perroud, Ricardo Chavarriaga, Jose del R. Millan, K Lee, A Liu, A Perroud, A Chavarriaga, A Millan, D Liu, L Perroud, R Chavarriaga, and J Millan. Endogenous control of powered lower-limb exoskeleton // Biosystems and Biorobotics, 16, 10 2016.
Brokoslaw Laschowski, William McNally, Alexander Wong, John McPhee. Preliminary design of an environment recognition system for controlling robotic lower-limb prostheses and exoskeletons // IEEE … International Conference on Rehabilitation Robotics: [proceedings], 2019, 07 2019.
Du-Xin Liu, Jing Xu, Chunjie Chen, Xingguo Long, Dacheng Tao, Xinyu Wu. Vision-assisted autonomous lower-limb exoskeleton robotpt // IEEE Transactions on Systems, Man, and Cybernetics: Systems, PP:1–12, 08 2019.
Simao Carvalho, Joana Figueiredo, Cristina Santos. Environment-aware locomotion mode transition prediction system. 06 2019.
Ding Wang, Lin Du, He Huang. Terrain recognition improves the performance of neural-machine interface for locomotion mode recognition // 2013 International Conference on Computing, Networking and Communications, ICNC 2013, pages 87–91, 01 2013.
Fan Zhang, Zheng Fang, Ming Liu, He Huang. Preliminary design of a terrain recognition system // Conference proceedings: … Annual International Conference of the IEEE Engineering in Medicine and Biology Society // IEEE Engineering in Medicine and Biology Society. Conference, 2011:5452–5, 08 2011.
Christopher Caulcrick, Weiguang Huo, Enrico Franco, Samer Mohammed, Will Hoult, Ravi Vaidyanathan. Model predictive control for human-centred lower limb robotic assistance // IEEE Transactions on Medical Robotics and Bionics, PP:1–1, 08 2021.
управления экзоскелетами:
от кнопок к нейросетям
Г. Карнуп 1, В. Наумов 2, О. Тельминов, к. т. н.3
В настоящее время существует множество задач, которые могут быть решены человеком. Однако человек обладает рядом недостатков, что не позволяет ему быстро и с высокой точностью достигать своих целей: недостаточная физическая сила, отсутствие многих функций, реализованных в машинных устройствах, и т. д. В некоторых задачах целесообразнее использовать роботы как полную замену человека. А в некоторых – необходима точность, мобильность и мастерство человека, объединенные с силовыми и функциональными показателями роботов. Например, выполнение сложных спасательных или специальных задач, сортировка и работа на складских и промышленных помещениях с постоянно изменяющимися условиями задачи, такими как параметры груза, его положение и т. д.
Создание человекоподобного робота является одной из основных задач робототехники. Робот будет проигрывать в большинстве конкретных задач, но будет наиболее универсальным. Результат подобной замены прекрасно демонстрирует система помощи хирурга «да Винчи» [1]. Данный робототехнический комплекс никогда не сможет заменить профессионального хирурга с многолетним опытом, но он способен повысить качество операций, выполняемых молодыми неопытными хирургами, до приемлемого уровня. Остается открытым вопрос, сколько таких молодых хирургов не станет профессионалами, так и оставшись операторами и менеджерами роботов, но статья не об этом. Робот, строение, поведение и особенности которого сходны с человеческими, называется антропоморфным (рис. 1). В перспективе это робот, по всем параметрам превосходящий человека.
Другим вариантом устранения недостатков человеческого функционала является использование экзоскелета [2] – механической конструкции, которую носит оператор и которая соответствует форме и кинематическим параметрам человеческого тела, предназначенной для увеличения грузоподъемности и функционала. Экзоскелет (рис. 2) работает механически параллельно человеческому телу и может приводиться в действие пассивно или активно (активный экзоскелет с приводами), используя систему приводов. Спектр применения экзоскелетов достаточно широк: медицина, а именно – реабилитация после травм спины, шеи и инсультов, работа с большими нагрузками в промышленности, решение специальных задач, устранение последствий ЧС и др.
Направление экзоскелетов и антропоморфной робототехники развивается стремительными темпами. Их использование в решении различных промышленных и медицинских задач способно кратно сократить расход человеческих ресурсов. Однако до сих пор остается до конца нерешенной проблема управления активными экзоскелетами. Самыми распространенными методами управления экзоскелетами, представленными на рынке, являются системы управления, принимающие сигналы с тензодатчиков либо кнопок пульта. Такие системы просты в исполнении, однако, их основной проблемой является большая временная задержка. Таким образом, скелет всегда догоняет пользователя. В качестве решения могут использоваться интеллектуальные методы, рассчитывающие траекторию движения экоскелета на несколько шагов вперед, что позволяет компенсировать задержку.
Первая часть статьи посвящена рассмотрению различных систем управления экзоскелетами, во второй – рассматривается нейросетевой алгоритм, разработанный в лаборатории нейроморфных систем АО «НИИМЭ».
Тензодатчики
Ключевая проблема сегодняшних интерфейсов – задержка по времени. Она составляет какие-то сотые или даже тысячные доли секунды, но и это слишком много, так как, чтобы совершать сложные движения и держать баланс, человеческий мозг управляет конечностями на опережение. Экзоскелет же всегда догоняет оператора: датчики считывают, какое движение совершает пользователь, и дают команду приводам повторить его. Контакт оператора с каркасом экзоскелета может обеспечиваться обратной связью с помощью тензодатчиков, которые представляют собой датчики нагрузки [2]. Данные датчики относятся к пропорциональным и необходимы для борьбы с вибрацией приводов экзоскелета и для обеспечения плавности хода экзоскелета.
Тензодатчики работают на сдвиге фазы между опорной частотой и частотой, прошедшей через деформирующийся под воздействием силы проводник или оптоволокно. Принцип действия датчика заключается в способности преобразовывать обычную силу в аналоговый сигнал. На основании этого экзоскелет будет пилотироваться по принципу электродистанционной системы управления, которая сейчас активно применяется для летательных аппаратов, с использованием отрицательной обратной связи, обеспечивающей слежение за входным сигналом. С помощью тензодатчиков-приемников, которые плавно меняют выходной сигнал пропорционально входному действию, считываются механические перемещения конечностей тела оператора, далее они преобразуются в аналоговые или цифровые электрические сигналы и передаются по электропроводам посредством отрицательной обратной связи.
Совершенствование датчиков – ключевое направление развития активных экзоскелетов. Их разновидностей довольно много. Тензодатчики похожи на те, что применяются в электрических весах. Они измеряют давление, которое пользователь прикладывает к своему механическому костюму. Недостаток тензодатчиков в том, что они требуют плотного контакта с экзоскелетом и весьма приблизительно считывают направление движения. Тем не менее, такой тип датчиков активно применяется в современных экзоскелетах промышленного назначения, таких как PROEXO.
Ручной ввод данных пользователем
Пользователь непосредственно определяет режим работы экзоскелета, используя такие устройства ввода, как кнопки [3, 4] или голосовые команды [5]. Эти методы в настоящее время являются наиболее распространенными благодаря простоте реализации, большей предсказуемости и меньшему риску ошибок. Однако эти преимущества достигаются ценой дополнительного участия пользователя, что делает пользовательский опыт менее естественным, увеличивает когнитивную нагрузку и может замедлить работу. Более того, этот метод также подвержен человеческим ошибкам, которые более вероятны при выполнении сложных задач, длительном времени работы или при работе с начинающими / отвлекающимися пользователями. В этом случае задача состоит в том, чтобы сделать пользовательский интерфейс простым в использовании, чтобы минимизировать время обучения и риск ошибок манипулирования, а также быстрым, чтобы избежать потери времени на переходы.
Явный пользовательский ввод обычно используется в полномобильных экзоскелетах для пациентов с полной травмой спинного мозга, поскольку от ног пациента невозможно получить данные для ввода. Он также является наиболее предсказуемым для пользователя, что важно для доверия к устройству. В этом случае могут использоваться кнопки на ручке костыля или специальные наручные часы.
Голосовые команды не так распространены, поскольку они могут показаться неудобными в общественных местах. Кроме того, в шумной обстановке вероятность ошибки выше. В силу своей простоты управления подобные системы часто применяют в реабилитационных экзоскелетах, таких как ExoAtlet, E-Helper, Remotion и т. д. На начальных этапах реабилитации пациент помещается в экзоскелет, а специалист из медицинского персонала посредством пульта управляет приводами.
Интерфейс «мозг – компьютер»
Мозговая активность пользователя измеряется с помощью электродов, усиливается и анализируется для определения режима работы экзоскелета [6]. Среди различных методов регистрации сигналов мозга в настоящее время преимущественно используется электроэнцефалография (ЭЭГ), поскольку она является неинвазивной и, следовательно, более безопасна и проста в использовании. Несмотря на перспективность этих методов, существует множество практических проблем, связанных с ними, включая высокий уровень концентрации, требуемый от пользователя (и, следовательно, ограничивающий симуляцию когнитивной деятельности, например, речи), артефакты при мышечной активации (сигналы ЭЭГ на поверхности кожи головы имеют амплитуду, близкую к 100 мкВ [7], в то время как сигналы электромиографии (ЭМГ) составляют несколько милливольт), довольно длительные процедуры размещения электродов, необходимость обучения пользователя и алгоритма, а также очень медленную (порядка секунд) или ограниченную небольшим количеством команд работу [8].
Одним из ключевых недостатков таких систем является и тот факт, что области мозга, отвечающие за различные участки тела, находятся близко. Крайне сложно отличить движение правой руки от левой, не говоря уже о различии в работе мышц. Поэтому, для дальнейшего улучшения систем управления с применением ЭЭГ, необходимы колоссальные наборы данных и довольно глубокие нейронные сети.
Идентификация местности
Как правило, самым решающим фактором, определяющим режим работы и высокоуровневое поведение устройств для помощи при ходьбе, является рельеф местности. Поэтому информация о местности может быть использована для создания высокоуровневого контроллера для таких устройств. Встроенные датчики в контроллерах применяются для распознавания типа местности или препятствий перед устройством. Чаще всего датчики для таких контроллеров высокого уровня представляют собой камеры (обычные камеры видимого света [9] или 3D-датчики глубины [10]), но также используются и другие датчики, такие как инфракрасные датчики расстояния [11] или слияние лазерных датчиков расстояния и инерциального измерительного блока [12].
Идентификация местности недавно привлекла внимание специалистов, работающих в области ортопедии и протезирования, но объем литературы, посвященной этому вопросу, невелик. Даже существующие работы ограничены концептуальными реализациями, демонстрирующими работу алгоритмов идентификации рельефа без фактической интеграции их в высокоуровневый контроллер устройства [12, 13].
Эти методы обычно требуют больших вычислительных затрат из-за обработки изображений или облаков точек. Тем не менее, были продемонстрированы многообещающие результаты, и с развитием методов распознавания образов и машинного обучения можно ожидать успешной реализации таких контроллеров в будущих исследованиях.
Прогностическое управление модели
Прогностическое управление модели (Model Predictive Control, MPC) – это расширенный метод, который используется для управления процессом при соблюдении набора ограничений. Модели, применяемые в MPC, обычно предназначены для представления поведения сложных динамических систем. Данный метод основан на итеративном подходе: в момент времени t производится выборка текущего состояния какого-либо предприятия и вычисляется стратегия управления минимизацией затрат (с помощью алгоритма численной минимизации) для относительно короткого временного горизонта в будущем – [t, t + T].
В работе [14] разработан алгоритм MPC на основе нечеткой логики (Fuzzy Logic Algorithm, FLA) для выбора соответствующих вспомогательных режимов, при этом обеспечивая оптимальную силовую помощь с учетом усилия пользователя. Характер помощи превентивно адаптируется на основе мышечной активности пользователя, а именно на сигналах электромиографии (ЭМГ), которые генерируются до соответствующих движений человека. MPC был выбран для обеспечения оптимальной поддержки крутящего момента в течение прогнозируемого горизонта, используя при этом возможность предсказания намерения сигналов ЭМГ.
FLA оценивает режимы взаимодействия человека и робота, используя эталонную угловую скорость и крутящий момент человеческого сустава, оцененные по сигналам ЭМГ. MPC генерирует оптимальный крутящий момент экзоскелета, принимая во внимание эталонный угол сустава, предполагаемый крутящий момент человека и предполагаемый соответствующий режим помощи. Сигналы ЭМГ используются для оценки крутящего момента человеческого сустава, а предполагаемый крутящий момент человека используется FLA с эталонной скоростью сустава для создания режима помощи.
В статье предлагается контроллер AAN, который сочетает в себе ограниченный нелинейный подход MPC с FLA для обнаружения вспомогательного режима. Крутящий момент человека оценивается по обработанным сигналам ЭМГ с использованием линейной модели крутящего момента «агонист – антагонист». Хотя метод на основе ЭМГ зависит от измерения мышечной активности для определения выходного крутящего момента, этот метод выигрывает от расширенного прогнозирования поведения человека. Это дает преимущество перед подходами без датчиков, такими как нелинейные наблюдатели возмущений.
Еще одним преимуществом является отличие возмущения, вызванного человеческим усилием, от других внешних сил. Расчетный крутящий момент человека используется MPC для получения крутящего момента робота, необходимого для успешного движения по заданной траектории. Он также используется FLA для оценки состояния участия человека и выбора наиболее подходящего режима помощи. Предлагаемый контроллер позволяет это сделать без необходимости повторных обучающих испытаний, которые могут отнимать драгоценное время в клинических ситуациях.
Нейросетевые управляющие алгоритмы
Основная идея нейросетевых подходов заключается в использовании различного рода нейросетевых алгоритмов для обработки входных данных и предсказания на их основе дальнейшей траектории. Это, пожалуй, самый перспективный метод управления на сегодняшний день. Было выяснено, что наибольшую точность дают алгоритмы, обрабатывающие не только ЭМГ-данные мышц, но и кинематические параметры, такие как положение, скорость и ускорение.
Последние данные позволяют выполнять предсказание с привязкой к конкретному положению, а не абстрактному, как в случае анализа простого ЭМГ. Однако, в большинстве работ для получения данных ЭМГ применяются датчики высокой плотности, порядка 10–24 каналов на один участок, что является избыточным, дорогостоящим и неудобным в использовании. По сути, для понимания того, что руку необходимо согнуть, достаточно общего сигнала с двуглавой мышцы, и в зависимости от динамики движения ЭМГ-сигнал имеет различный вид. (Дело в том, что считываемый на поверхности сигнал является суммой сигналов всех мышц и меняет свой вид в зависимости от характера движения.) Идея предсказания траектории движения посредством нейросетевой обработки небольшого количества датчиков ЭМГ совместно с данными о положении руки зародилась у студентов 4‑го курса ФЭФМ МФТИ Карнупа Г. А. и Наумова В. О. Разработкой нейросетевого алгоритма управления экзоскелетом руки студенты занялись в лаборатории нейроморфных систем АО «НИИМЭ».
За основу взято предположение, что нейросеть, обрабатывая значения координаты и ЭМГ руки за конечный промежуток времени, способна предсказать ее положение в следующий промежуток. Причем, временная область предсказания должна быть больше суммы считываемой и расчетной, чтобы гарантированно обеспечить значения траектории. Система, считывающая данные, состоит из пяти ЭМГ-датчиков (по одному на двух- и трехглавую мышцу и три – на дельтовидную мышцу плеча), трех гибких резисторов, по которым отслеживается угол сгиба локтя и плеча в двух плоскостях. Считанные данные приходят на блок обработки и передачи, который выполняет первичную обработку и фильтрацию данных, после чего отправляет их по протоколу Wi-Fi на вычислитель. Этот же блок и управляет двигателями, получая предсказанную траекторию. Для удобства использования считывающая система расположена на компрессионном рукаве.
В качестве датчиков ЭМГ использовано решение отечественной компании ELEMYO. Было затруднительно использование зарубежных модулей обработки и передачи данных, а также комплектующих драйверов. Автор благодарен компании «ГетЧипс» за поиск аналогов. Внешний вид считывающей системы представлен рис. 3. Нейросетевые архитектуры были разработаны на основе существующих генеративных: автоэнкодера и рекуррентной. Причем, наибольшее быстродействие показал автоэнкодер с небольшим отставанием по точности от рекуррентной. Быстродействие играет в данном случае бóльшую роль, так как предсказания необходимо реализовывать в режиме реального времени. Конечный вид архитектуры представлен на рис. 4. Результат работы алгоритма можно увидеть на рис. 5. Точность потокового предсказания составляет 92,8%.
Применение в медицине
В России существует несколько компаний, разрабатывающих экзоскелеты с целью их применения в решении задач реабилитации. Однако все существующие решения охватывают работу только с нижними конечностями. В сотрудничестве с центром реабилитации после инсульта «Три Сестры» группа разработчиков из лаборатории нейроморфных систем АО «НИИМЭ» предлагает адаптацию своей разработки к решению задачи реабилитации. Суть заключается в использовании нейросетевого алгоритма, анализирующего поведение мышц при выполнении пациентом движений. На основе проведенного анализа производится миостимуляция мышц синхронно с движением экзоскелета. Последнее механически помогает пользователю в выполнении движений.
Разработка решает основную проблему, ограничивающую количество реабилитируемых пациентов, а именно – малое количество специалистов. На ранних этапах реабилитации ключевым фактором является ее интенсивность, и чем она больше, тем лучше результат. Так же подобные тренажеры, благодаря их простоте изготовления, можно сдавать в аренду, что дает шанс тренироваться надомным больным. Автоматизация пока части процессов реабилитации и увеличение числа пациентов, с которыми одновременно может работать один специалист, способно кратно увеличить число успешно реабилитированных пострадавших. Основным преимуществом предлагаемой разработки над конкурентами является миостимуляция, подстраиваемая под процесс работы мышц в реальном времени.
В настоящее время идет подготовка к открытию стартапа и поиск инвестиций под адаптацию технологии и дальнейшую разработку как медицинских, так и промышленно-спасательных версий экзоскелетов.
Литература
Brian M. Benway, Sam B. Bhayani, Craig G. Rogers, Lori M. Dulabon, Manish N. Patel, Michael E. Lipkin, Agnes J. Wang, Michael Stifelman. Robot assisted partial nephrectomy versus laparoscopic partial nephrectomy for renal tumors: a multi-institutional analysis of perioperative outcomes // The Journal of urology, 182 3:866–72, 2009.
Daniel Hernandez de la Iglesia, Sales Mendes, G. Villarrubia, Diego Jimenez-Bravo, Juan Santana. Connected elbow exoskeleton system for rehabilitation training based on virtual reality and context-aware // Sensors, 20:858, 02 2020.
Dany Gagnon, Manuel Escalona, Martin Vermette, Lıvia Carvalho, Antony Karelis, Cyril Duclos, Myl’ene Aubertin-Leheudre. Locomotor training using an overground robotic exoskeleton in long-term manual wheelchair users with a chronic spinal cord injury living in the community: Lessons learned from a feasibility study in terms of recruitment, attendance, learnability, performance and safety // Journal of NeuroEngineering and Rehabilitation, 15:12, 03 2018.
Alberto Esquenazi, Mukul Talaty, Andrew Packel, Michael Saulino. The rewalk powered exoskeleton to restore ambulatory function to individuals with thoracic-level motor-complete spinal cord injury // American journal of physical medicine rehabilitation / Association of Academic Physiatrists, 91:911–21, 11 2012.
Ryan Farris, Hugo Quintero, Michael Goldfarb. Preliminary evaluation of a powered lower limb orthosis to aid walking in paraplegic individuals // IEEE transactions on neural systems and rehabilitation engineering: a publication of the IEEE Engineering in Medicine and Biology Society, 19:652–9, 12 2011.
Junhyuk Choi, Keun-Tae Kim, Jaehyung Lee, Song Lee, Hyungmin Kim. Robust semi-synchronous bci controller for brain-actuated exoskeleton system. pages 1–3, 02 2020.
Webster JG. // Medical Instrumentation: application and Design. 4th ed. New York: Wiley, 2009.
Kyuhwa Lee, Dong Liu, Laetitia Perroud, Ricardo Chavarriaga, Jose del R. Millan, K Lee, A Liu, A Perroud, A Chavarriaga, A Millan, D Liu, L Perroud, R Chavarriaga, and J Millan. Endogenous control of powered lower-limb exoskeleton // Biosystems and Biorobotics, 16, 10 2016.
Brokoslaw Laschowski, William McNally, Alexander Wong, John McPhee. Preliminary design of an environment recognition system for controlling robotic lower-limb prostheses and exoskeletons // IEEE … International Conference on Rehabilitation Robotics: [proceedings], 2019, 07 2019.
Du-Xin Liu, Jing Xu, Chunjie Chen, Xingguo Long, Dacheng Tao, Xinyu Wu. Vision-assisted autonomous lower-limb exoskeleton robotpt // IEEE Transactions on Systems, Man, and Cybernetics: Systems, PP:1–12, 08 2019.
Simao Carvalho, Joana Figueiredo, Cristina Santos. Environment-aware locomotion mode transition prediction system. 06 2019.
Ding Wang, Lin Du, He Huang. Terrain recognition improves the performance of neural-machine interface for locomotion mode recognition // 2013 International Conference on Computing, Networking and Communications, ICNC 2013, pages 87–91, 01 2013.
Fan Zhang, Zheng Fang, Ming Liu, He Huang. Preliminary design of a terrain recognition system // Conference proceedings: … Annual International Conference of the IEEE Engineering in Medicine and Biology Society // IEEE Engineering in Medicine and Biology Society. Conference, 2011:5452–5, 08 2011.
Christopher Caulcrick, Weiguang Huo, Enrico Franco, Samer Mohammed, Will Hoult, Ravi Vaidyanathan. Model predictive control for human-centred lower limb robotic assistance // IEEE Transactions on Medical Robotics and Bionics, PP:1–1, 08 2021.
Отзывы читателей
