14 лютого некомерційна дослідницька компанія OpenAI презентувала суспільству нову мовну модель, яка здатна генерувати переконливі тексти. Тексти були настільки переконливими, що творці вирішували не показувати весь алгоритм через те, що його могли б використати для формування фейкових новин.
Не дивлячись на дивовижні результати, методи OpenAI не нові. Прорив у цій галузі був забезпечений завдяки великій кількості навчальних даних.
Тексти, які створені програмою можуть повністю бути схожими з тими, що написала людина. Але цю здатність не варто плутати з натуральним розумінням мови як такої. Це і являється кінцевою ціллю вчених, які займаються обробкою природних мов. (У комп’ютерів відбувається те ж саме – алгоритми вміють синтезувати реалістичні зображення, абсолютно не розуміючи зорових образів).
Сьогодні розвиток обробки природних мов забезпечують чотири філософських підходи. Почнемо з того, який прийняли дослідники OpenAI.
Дистрибутивна семантика
Філософське обґрунтування: значення слова визначається його використанням. Наприклад, значення слів «кішка» та «собака» близькі по змісту, тому, що вони застосовуються подібним чином. Ви зможете нагодувати та погратися з кішкою чи собакою. А ось з апельсином, наприклад погратися чи нагодувати не вийде.
На практиці: алгоритми на основі методів дистрибутивної семантики просунули обробку природних мов. Тут дослідники сподіваються на машинне навчання — шукають патерни, підраховуючи, наскільки часто та близько слова використовуються відносно один одного.
На основі цих патернів отримані в результаті моделі конструюють речення або абзаци; так працюють автозаповнення та інші предикативні текстові системи. Декотрі розробники експериментують з розподілом випадкових послідовних символів, а не слів, аби зробити моделі більш сприятливими до акронімів, пунктуації, сленгу – всьому тому, чого нема у словнику. А також до мов, де різниця між словами не така вже й чітка.
Переваги: подібні алгоритми дуже гнучкі та легко масштабуються тому, що вони застосовуються у будь-якому контексті та вчаться на нерозмічених даних.
Недоліки: отримані моделі не розуміють тих речень, які були створені. В цілому, вони пишуть, спираючись на словесні асоціації.
Фреймова семантика
Філософське обґрунтування: мова використовується для характеризування дій та явищ, тому речення діляться на суб’єкти, дієслова та другорядні члени речення.
На практиці: алгоритми, в основі яких лежить фреймова семантика, в аналізі речень покладаються на набір правил або більшу кількість розмічених даних. Тому вони підходять для інтерпретації простих команд та для чат-ботів, голосових асистентів.
Якщо ви, наприклад, скажете: «Окей, Google, знайди на завтра чотирьох зірковий готель». Такий алгоритм розпізнає ваші слова наступним чином: дія – «знайди», що – «чотирьох зірковий готель та коли – «завтра».
Переваги: на відміну від алгоритмів на основі дистрибутивної семантики, які не розуміють тексти на яких вчаться, алгоритми фреймової семантики розрізняють інформацію у реченні.
Недоліки: такі алгоритми легко впораються з дуже простими реченнями, не фіксуючи тонкощі; вони не надто рухливі, оскільки потребують серйозного контекстного навчання.
Модельно-теоретична семантика
Філософське обґрунтування: мова потрібна для передавання знань.
На практиці: в основі модельно-теоретичної семантики лежить стара ідея – будь-яке знання можна закодувати (змоделювати), дотримуючись логічних правил.
Якщо відомо, що птахи вміють літати, а орел – птах, можна зробити висновок: орел уміє літати. Таких підхід все ж вийшов з моди, адже на кожне правило доведеться дуже багато виключень (пінгвіни – птахи, які не літають).
Одначе, модельно-теоретичні алгоритми корисні для здобуття інформації з моделей типу баз даних. Як і алгоритми фреймової семантики, вони аналізують речення, розбиваючи їх на частини, але ці частини розпізнаються як логічні правила, кодувального повідомлення.
Модельно-теоретичний алгоритм розіб’є питання «Місто з найбільшим населенням у Європі?» на серію замкнутих питань «усі міста світу?», «які з них у Європі?», «яке у них населення?», «у якому місті населення найбільше?». Та після цього надасть відповідь.
Переваги: подібні алгоритми дозволяють машині відповідають на складні питання.
Недоліки: вони потребують моделі подання знань, на створення яких витрачається багато часу; контекстуальна сфера цих алгоритмів обмежена.
Семантика заснована на досвіді
Філософське обґрунтування: мова отримує знання з досвіду. Люди створили мову для досягнення певних цілей, тому її слід розуміти у рамках світу поставлених цілей.
На практиці: цей підхід є найновішим та перспективним. У навчанні мові алгоритм намагається копіювати людину: починає машина з самого нуля та навчається пов’язувати слово та значення у діалозі.
Простий приклад. Навчаючи комп’ютер переміщенню предметів у віртуальному просторі, ви даєте певну команду «пересунь червоний кубик у ліву сторону», а потім показуйте що саме ви мали на увазі. З часом комп’ютер навчиться розуміти та виконувати команди без сторонньої допомоги.
Переваги: в теорії «досвідчені» алгоритми дуже сприятливі та найбільш близько підбираються до справжнього розуміння мови.
Недоліки: навчання займає багато часу; не всі слова та словосполучення ілюструються так же легко, як «пересунь червоний кубик».
У довгостроковій перспективі у кожного підходу існують обмеження.
«Ймовірно і те, що існує якісний розрив між розумінням мови, сприйняттям світу людиною та сучасними моделями», — говорить професор інформатики у Стенфорді Персі Лян. — «Подолання цього розриву потребує нового мислення, додає він, та набагато більше часу».
БІЛЬШЕ ЦІКАВОГО:
- Алгоритми машинного навчання: гордість і упередження
- AI полегшить виявлення аутизму
- Машинне навчання розпізнає депресивний стан під час сканування мозку
Джерело: MIT