- 28,851
- 46
- 8 Ноя 2022
Brain2Qwerty читает мысли через шлем и угадывает 82% символов. Neuralink для этого сверлит череп…
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/676;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Травма или неврологическое заболевание может лишить человека возможности говорить, печатать и пользоваться электронными устройствами, хотя способность понимать речь и формулировать мысли сохраняется. Помочь в подобных случаях могут интерфейсы «мозг-компьютер». Такие системы распознают характерные сигналы мозга и превращают их в текст или команды для компьютера. Наиболее точные разработки требуют операции и установки миниатюрных датчиков на поверхность мозга либо внутрь его тканей. Алгоритм Brain2Qwerty работает без имплантов и восстанавливает набираемый текст по сигналам, записанным снаружи головы.
Для регистрации мозговой активности использовали электроэнцефалографию и магнитоэнцефалографию. Электроэнцефалография, или ЭЭГ, измеряет электрические сигналы с помощью электродов на коже головы. Магнитоэнцефалография, или МЭГ, улавливает слабые магнитные поля, которые возникают при работе нервных клеток. Датчики МЭГ размещают в специальном шлеме, окружающем голову участника.
В испытаниях участвовали 35 добровольцев без известных неврологических и психических заболеваний. Сначала участники запоминали предложенные предложения, затем набирали их на обычной клавиатуре с раскладкой QWERTY. Оборудование в это время записывало электрическую или магнитную активность мозга.
Собранные данные использовали для обучения Brain2Qwerty . Нейросеть получала записи ЭЭГ или МЭГ и училась определять, какие символы человек печатал в каждый момент. Для двух методов регистрации создали отдельные версии алгоритма, поэтому результаты можно было сравнить напрямую.
Обработка проходит в три этапа. Сначала свёрточный модуль разбирает мозговые сигналы на отрезки продолжительностью 500 миллисекунд и ищет в них закономерности, связанные с набором текста. Затем трансформер сопоставляет найденные признаки на уровне всего предложения. Модуль учитывает порядок символов и связь между разными частями фразы, а не рассматривает каждую букву отдельно.
После трансформера результат проверяет предварительно обученная языковая модель. Она исправляет часть ошибок, опираясь на вероятные сочетания букв и слов. К примеру, если мозговой сигнал допускает несколько вариантов символа, модель выбирает букву, которая лучше подходит к остальной части предложения.
Записи МЭГ позволили восстанавливать текст гораздо точнее, чем данные ЭЭГ. Средняя доля ошибочно распознанных символов при магнитоэнцефалографии составила 29%. При электроэнцефалографии показатель достиг 65%.
Результаты заметно различались и у отдельных участников. В лучшем случае Brain2Qwerty ошибался в 18% символов. Некоторые предложения алгоритм восстановил полностью, хотя во время обучения таких фраз не встречал. Значит, нейросеть не ограничилась запоминанием готовых последовательностей и смогла применить найденные закономерности к новому тексту.
Эксперимент пока не доказывает, что Brain2Qwerty сможет сразу вернуть возможность общения людям с параличом. Все участники были здоровы и действительно нажимали клавиши. Алгоритм расшифровывал мозговую активность во время физического набора заранее запомненных предложений, а не свободную внутреннюю речь.
Проверка на пациентах потребует отдельного исследования. Человек с тяжёлым нарушением движений может сохранять намерение напечатать фразу, но не совершать движений руками. Разработчикам предстоит выяснить, достаточно ли сигналов, связанных с подготовкой действия, чтобы восстановить текст без реального нажатия клавиш.
Точность также остаётся ограниченной. Ошибка в 18% означает, что нейросеть неверно распознаёт примерно один символ из пяти или шести даже при лучшем результате. Средний показатель МЭГ ещё выше, а версия на основе ЭЭГ пока теряет большую часть текста. Перед практическим применением число ошибок придётся значительно сократить.
При этом Brain2Qwerty показывает, что внешний шлем и нейросеть уже способны восстановить часть предложения без электродов внутри черепа. Дальнейшие испытания должны проверить работу алгоритма у людей, которые не могут говорить или двигаться. После адаптации похожие системы смогут переводить мозговую активность не только в текст, но и в команды для протезов и других вспомогательных устройств.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/676;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Травма или неврологическое заболевание может лишить человека возможности говорить, печатать и пользоваться электронными устройствами, хотя способность понимать речь и формулировать мысли сохраняется. Помочь в подобных случаях могут интерфейсы «мозг-компьютер». Такие системы распознают характерные сигналы мозга и превращают их в текст или команды для компьютера. Наиболее точные разработки требуют операции и установки миниатюрных датчиков на поверхность мозга либо внутрь его тканей. Алгоритм Brain2Qwerty работает без имплантов и восстанавливает набираемый текст по сигналам, записанным снаружи головы.
Для регистрации мозговой активности использовали электроэнцефалографию и магнитоэнцефалографию. Электроэнцефалография, или ЭЭГ, измеряет электрические сигналы с помощью электродов на коже головы. Магнитоэнцефалография, или МЭГ, улавливает слабые магнитные поля, которые возникают при работе нервных клеток. Датчики МЭГ размещают в специальном шлеме, окружающем голову участника.
В испытаниях участвовали 35 добровольцев без известных неврологических и психических заболеваний. Сначала участники запоминали предложенные предложения, затем набирали их на обычной клавиатуре с раскладкой QWERTY. Оборудование в это время записывало электрическую или магнитную активность мозга.
Собранные данные использовали для обучения Brain2Qwerty . Нейросеть получала записи ЭЭГ или МЭГ и училась определять, какие символы человек печатал в каждый момент. Для двух методов регистрации создали отдельные версии алгоритма, поэтому результаты можно было сравнить напрямую.
Обработка проходит в три этапа. Сначала свёрточный модуль разбирает мозговые сигналы на отрезки продолжительностью 500 миллисекунд и ищет в них закономерности, связанные с набором текста. Затем трансформер сопоставляет найденные признаки на уровне всего предложения. Модуль учитывает порядок символов и связь между разными частями фразы, а не рассматривает каждую букву отдельно.
После трансформера результат проверяет предварительно обученная языковая модель. Она исправляет часть ошибок, опираясь на вероятные сочетания букв и слов. К примеру, если мозговой сигнал допускает несколько вариантов символа, модель выбирает букву, которая лучше подходит к остальной части предложения.
Записи МЭГ позволили восстанавливать текст гораздо точнее, чем данные ЭЭГ. Средняя доля ошибочно распознанных символов при магнитоэнцефалографии составила 29%. При электроэнцефалографии показатель достиг 65%.
Результаты заметно различались и у отдельных участников. В лучшем случае Brain2Qwerty ошибался в 18% символов. Некоторые предложения алгоритм восстановил полностью, хотя во время обучения таких фраз не встречал. Значит, нейросеть не ограничилась запоминанием готовых последовательностей и смогла применить найденные закономерности к новому тексту.
Эксперимент пока не доказывает, что Brain2Qwerty сможет сразу вернуть возможность общения людям с параличом. Все участники были здоровы и действительно нажимали клавиши. Алгоритм расшифровывал мозговую активность во время физического набора заранее запомненных предложений, а не свободную внутреннюю речь.
Проверка на пациентах потребует отдельного исследования. Человек с тяжёлым нарушением движений может сохранять намерение напечатать фразу, но не совершать движений руками. Разработчикам предстоит выяснить, достаточно ли сигналов, связанных с подготовкой действия, чтобы восстановить текст без реального нажатия клавиш.
Точность также остаётся ограниченной. Ошибка в 18% означает, что нейросеть неверно распознаёт примерно один символ из пяти или шести даже при лучшем результате. Средний показатель МЭГ ещё выше, а версия на основе ЭЭГ пока теряет большую часть текста. Перед практическим применением число ошибок придётся значительно сократить.
При этом Brain2Qwerty показывает, что внешний шлем и нейросеть уже способны восстановить часть предложения без электродов внутри черепа. Дальнейшие испытания должны проверить работу алгоритма у людей, которые не могут говорить или двигаться. После адаптации похожие системы смогут переводить мозговую активность не только в текст, но и в команды для протезов и других вспомогательных устройств.
- Источник новости
- www.securitylab.ru
