нейронное декодирование

Стартап Conduit записал 10 тысяч часов нейролингвистический данных для обучения ИИ

Исследователи хотят научить нейросеть преобразовывать мысли в текст используя неинвазивные данные активности мозга, привлекая тысячи разных людей. Как утверждает компания, это крупнейший на сегодня нейроязыковой датасет такого рода. Цель исследований - уловить смысл того, что человек собирается сказать или напечатать, за секунды до того, как он это сделает. Участники приходят в студийное помещение и проводят там двухчасовые сессии. Каждый сидит в небольшой кабинке и общается с языковой моделью, либо голосом, либо через упрощённую клавиатуру без некоторых клавиш. Изначально Conduit пробовали строгие задания, но быстро заметили закономерность, что чем живее диалог, тем лучше данные. В итоге компания перешла к персонализированным разговорам в формате вопрос-ответ. Компания пытается выжать максимум естественной речи и текста, при этом точно синхронизировав нейросигналы, звук и ввод символов. Без этого модель просто не сможет понять, какой кусок мозговой активности относится к какому смыслу. Готовых устройств под такие задачи на рынке не нашлось, поэтому Conduit сделала всё сама. Команда собрала кастомные гарнитуры, объединив ЭЭГ, оптические датчики и другие сенсоры в корпусах, напечатанных на 3D-принтере. Сначала в Conduit были уверены, что главная проблема неудачных записей - помехи и грязный сигнал. Чтобы данные были максимально чистыми, они изолировали оборудование, возились с питанием и в итоге даже полностью отказались от розеток, переведя студию на аккумуляторы. Всё ради того, чтобы убрать фоновый электрический шум, который мешает считывать сигналы мозга. Но в итоге сессии стали срываться, техника работала нестабильно, а тяжёлые батареи приходилось постоянно менять и обслуживать. Но когда данных стало действительно много, оказалось, что стерильность сигнала уже не так важна. Модели начали нормально работать даже с небольшими помехами и лучше понимать людей в целом, а не конкретные условия записи. Сейчас Conduit почти полностью сосредоточена на обучении моделей и не спешит раскрывать детали того, как именно устроено декодирование мыслей в текст. Эти подробности обещают опубликовать позже.

Мгновенное преобразование мысли в речь

Имплантат, считывающий электрическую активность мозга, позволил женщине, страдающей параличом, почти мгновенно услышать то, что она собирается сказать. Благодаря алгоритмам искусственного интеллекта её интерфейс «мозг — компьютер» (BCI) может декодировать слова из нейронных сигналов и преобразовывать их в речь в течение 3 секунд. Хотя BCI работает с короткими предложениями, он всё равно функционирует с довольно большой задержкой по сравнению с естественным общением.

Контекстно-независимая реакция одиночных нейронов гиппокампа у человека

У испытуемых, которым вживили внутричерепные электроды, использовали две разные истории, в которых фигурирует один и тот же человек (или место), чтобы оценить, влияет ли контекст на реакцию отдельных нейронов человека. Почти все нейроны (97% во время кодирования и 100% во время воспроизведения), изначально реагирующие на человека/место, не изменяют свою реакцию в зависимости от контекста. Точно так же почти ни один (менее 1%) из изначально не реагирующих нейронов не демонстрирует контекстно-независимое (конъюнктивное) кодирование, реагируя на конкретных людей/места в определённом контексте во время выполнения заданий. В соответствии с этими результатами, объединив все нейроны, можно расшифровать, кто или что изображено в каждой истории, но не саму историю. Более того, нейроны демонстрируют стабильные реакции при кодировании и воспроизведении историй, а также при пассивном просмотре изображений.Эти результаты указывают на контекстно-независимое (неконъюнктивное) кодирование воспоминаний на уровне отдельных нейронов в гиппокампе и миндалине мозга человека, в отличие от того, что было описано у животных.

Технология чтения мыслей

На прошлогоднем Всемирном экономическом форуме было заявлено, что технология чтения мыслей не только реальна, но и уже используется. Мониторинг мозговой активности может повысить безопасность, например, предотвращая аварии, вызванные усталостью водителя. Так китайские машинисты поездов обязаны носить головные уборы для мониторинга мозговой активности, чтобы следить за уровнем своей усталости. Технология мониторинга мозговой активности уже используется такими компаниями, как Amazon и Walmart. Появилась ли технология чтения мыслей или Всемирный экономический форум нагнетает страх? В «Золотом отчёте» рассматривается, насколько продвинулись исследования в этой области.

https://expose-news.com/2024/09/26/mind-reading-technology-is-it-already-here/

Миниатюрный интерфейс мозг-машина переводит мысли в текст

Исследователи разработали компактный маломощный интерфейс мозг-машина (BCI) под названием MiBMI, предназначенный для улучшения общения людей с тяжелыми двигательными нарушениями. Устройство переводит нейронную активность в текст с точностью 91%, используя высокоминиатюрную систему, обрабатывающую данные в режиме реального времени.

https://neurosciencenews.com/bmi-chip-neurotech-27583/

Как мозг кодирует значение слов

Oтдельные клетки мозга реагируют на суть слов. Исследователи зафиксировали активность около 300 нейронов у 10 человек, которым в мозг были имплантированы электроды для лечения эпилепсии. Только несколько нейронов активировались для каждого слова, когда участники слушали короткие предложения. Слова, которые попадали в схожие категории — действия, еда или животные, — а также слова, которые могли быть связаны, — например, «утка» и «яйцо», — вызывали схожую активность мозга. В некоторой степени исследователи могли определить, что слышат люди, наблюдая за активацией их нейронов.