Электромиографические интерфейсы с пропорциональным управлением для бионических протезов с большим числом степеней свободы (original) (raw)

На сегодняшний день проблема декодирования движений руки по данным миографической (мышечной) активности является актуальной для создания биоэлектрических (бионических) протезов кисти. Даже самые современные протезы управляются с помощью простейшей классификации напряжения и расслабления двух мышц плеча или предплечья, а увеличение количества хватов достигается за счет последовательных паттернов сокращения этих мышц или переключения схватов на смартфоне. Изучение возможности восстановления точных движений по активности мышц у людей с ампутацией и врожденным недоразвитием верхней конечности является необходимой частью для создания системы управления протезом нового поколения. Для создания подобных устройств и систем управления необходим сбор, обработка и тщательный анализ миографических данных как у здоровых людей, так и у людей с врожденным отсутствием или ампутацией кисти.

Существующие решения по классификации и декодированию движений пальцев у людей с инвалидностью направлены, прежде всего, на классификацию жестов, то есть совместного движения нескольких пальцев. Однако современные методы машинного обучения могут не только улучшить классификацию жестов, но и восстановить свободные, естественные движения пальцев, рукописный текст (Okorokova et al., 2015) или намерения движений по электромиографии (ЭМГ). Целью данного проекта является изучение возможности подобного декодирования у людей с врожденным отсутствием или ампутацией кисти в сравнении со здоровыми людьми. В данном проекте реализуются различные подходы к анализу и сбору миографических данных и их последующего декодирования с применением нейронных сетей.

Методы сбора данных включают в себя ЭМГ высокой плотности (high-density EMG) в виде сеток (8х8 см и 4х4 см), представленных на рисунке ниже, а также браслеты, позволяющие собирать информацию со всей окружности предплечья.

Рис. 1. Электромиографические сетки с высокой плотностью расположения электродов.

Для детекции позиции пальцев в проекте используются технологии захвата движений: фреймворк MediaPipe для видеозаписей и алгоритмы внутри шлемов виртуальной реальности, таких как Oculus Quest 2. Выходные данные содержат 21 точку позиции пальцев в каждый момент времени в 3-ёх пространственных координатах (x, y, z).

Рис. 2. Выходные данные трекинга рук и шлем виртуальной реальности Oculus Quest 2.

Предварительные результаты проведённых экспериментов и декодирования показывают высокую точность восстановления углов сгибания пальцев на здоровых участниках (ошибка предсказания: 15-20 градусов в углах, корреляция настоящей кинематики пальцев и предсказанных значений: 0.7-0.9). На данный момент ведется сбор и анализ данных на людях с отсутствующей конечностью, проверяются гипотезы, вовлекающие человека в обучение нейронной сети (декодера) в режиме реального времени. Проект был поддержан Фондом содействия инновациям по программе “Студенческий стартап”, на основе которого разрабатывается программное обеспечение (виртуальная среда и алгоритмы) для бионических протезов, а также собственные ЭМГ-браслеты и электронные схемы для сбора данных.

Рис. 3. Среда виртуальной реальности для сбора ЭМГ-данных и обучения участника исследования.

На изображениях выше представлена среда виртуальной реальности для тренировки и записи данных. На экране выводятся инструкция и жесты, которые необходимо выполнять человеку. Слежение камерами на шлеме происходит лишь за одной рукой, тогда как визуализация второй - это отражение движений первой. Это необходимо для тренировки людей, перенесших ампутацию - для них представлены обе руки и их движения. После обучения модели координаты пальцев второй (отраженной) руки начинают зависеть от сигнала с мышц - так человек понимает, как модель предсказывает его намерения, и обучается управлять паттернами сокращения мышц.

Опубликованная статья по проекту: Okorokova, E., Lebedev, M., Linderman, M., & Ossadtchi, A. (2015). A dynamical model improves reconstruction of handwriting from multichannel electromyographic recordings. Frontiers in neuroscience, 9, 389. https://doi.org/10.3389/fnins.2015.00389