Дослідники з Техаського університету навчилися розшифровувати те, що дивилися, слухали або представляли люди, об’єднавши показання їхньої мозкової активності з моделлю, що нагадує ChatGPT. Це перший такий результат, досягнутий без операційного втручання.
Вчені винайшли мовний декодер, який може переводити думки людини в текст за допомогою перетворювача штучного інтелекту. Статтю про дослідження опубліковано в Nature Neuroscience.
Це перший випадок, коли вдалося неінвазивно реконструювати безперервне мовлення, використовуючи дані про діяльність людського мозку, зібрані за допомогою апарату функціональної магнітно-резонансної томографії (ФМРТ).
Декодер був здатний інтерпретувати суть історій, які випробувані дивилися чи слухали — або навіть просто уявляли — за допомогою ФМРТ-моделей мозку, що, по суті, дозволяє читати думки людей з безпрецедентною ефективністю. Технологія все ще перебуває на ранній стадії, проте, як сподіваються вчені, вона дозволить спілкуватися із зовнішнім світом людям із неврологічними захворюваннями.
Творці декодера визнають, що їх винаходу можна знайти й інші застосування, наприклад, для стеження за співробітниками роботодавцями або громадянами урядом. При цьому вони наголошують, що для його роботи потрібна співпраця людей.
«В даний час розшифровка мови виконується за допомогою імплантованих пристроїв, що вимагають нейрохірургії, і наше дослідження є першим, в якому розшифровується безперервне мовлення, а не окремі слова або речення», — прокоментував Джеррі Тан, аспірант кафедри комп’ютерних наук в Техаському університеті в Остіні та Керівник дослідження. — «Зрештою, ми сподіваємося, що ця технологія зможе допомогти людям, які втратили здатність говорити через травми, наприклад інсульти, або такі захворювання, як аміотрофічний латеральний склероз», — додав він.
Тан та його колеги змогли створити декодер за допомогою трьох учасників-людей, кожен із яких провів 16 годин в апараті ФМРТ, слухаючи історії.
Дослідники навчили модель штучного інтелекту, що отримала назву GPT-1, на коментарях з форуму Reddit та автобіографічних історіях, щоб пов’язати семантичні особливості записаних історій з нейронною активністю, зафіксованою ФМРТ. Так вони дізналися, які слова та фрази асоціюються з певними патернами мозку.
Після того піддослідні прослухали нові історії, які не входили в навчальний датасет. Одночасно їхній мозок сканували за допомогою ФМРТ. Декодер зміг перевести аудіозаписи до тексту, хоча його інтерпретації не завжди збігалися з оригінальними записами.
Це перший метод такого роду, що не потребує операційного втручання. Якщо наявні методи вимагають імплантувати електроди в мозок пацієнта і роблять прогноз, ґрунтуючись на моторній діяльності, наприклад, рухах рота людини, команда Тана збирає дані про мозковий кровообіг, який фіксується ФМРТ.
«Наша система працює на зовсім іншому рівні, — сказав Олександр Хут, доцент кафедри неврології та комп’ютерних наук у Каліфорнійському університеті в Остіні та старший автор нового дослідження. — Замість того, щоб вивчати низькорівневу моторну діяльність, наша система справді працює на рівні ідей, семантики та сенсу… Ось до чого це веде. Ось чому я думаю, що те, що ми отримуємо, це не точні слова, які хтось чув чи говорив, це суть, — продовжив старший автор дослідження Олександр Хут. — Це та сама ідея, але виражена різними словами».
Новий підхід дозволив команді розширити межі технологій читання думок, перевіривши, чи може декодер перекладати думки учасників під час перегляду німого кіно чи просто уявних історій у їхніх головах. В обох випадках декодер зміг розшифрувати те, що учасники бачили у випадку з фільмами та про що думали піддослідні, розігруючи у своїй уяві короткі історії.
Результат був точнішим, коли в тестах використовували аудіозаписи, а не уявну промову, однак і в цьому випадку декодер зміг визначити основні деталі. Наприклад, коли піддослідний уявляв собі «я йшов ґрунтовою дорогою через пшеничне поле, через струмок і повз кілька дерев’яних будинків», розшифрований текст виглядав як: «йому довелося перейти мостом на інший берег і побачити вдалині дуже велику будівлю».
Учасники дослідження проходили всі тести, перебуваючи усередині апарату ФМРТ. Це досить громіздкий апарат, і тому декодер не можна використовувати як практичний засіб для пацієнтів з порушеннями мови.
Однак Тан та його колеги сподіваються, що майбутні версії пристрою можуть бути адаптовані до зручніших платформ, таких як датчики ближньої інфрачервоної спектроскопії (fNIRS), які можна носити на голові пацієнта.
БІЛЬШЕ ЦІКАВОГО:
- Цифровий двійник зможе випробувати на собі ліки і навіть урятувати вам життя
- Смарт-медицина: блокчейн на варті персональних даних пацієнтів
- Чи можлива персоналізована медицина?
Джерело: Vice