Інженер із програмного забезпечення Google заявив, що виявив свідомість у нейромережі LaMDA і навіть планував найняти їй адвоката. Компанія відправила співробітника до адміністративної відпустки.
З моменту інциденту пройшло вже понад два тижні, але суперечки про наявність у нейромережі свідомості, як і раніше, не вщухають. Розбираємось, чому інженер вирішив, що LaMDA «ожила», і що з цього приводу говорять вчені.
Що сталося?
11 червня The Washington Post опублікував інтерв’ю з Блейком Лемойном, інженером із програмного забезпечення компанії Google, під гучним заголовком «Інженер Google, який вважає, що штучний інтелект компанії ожив».
Блейк Лемойн займався тестуванням нейромережевої мовної моделі для діалогових додатків LaMDA (простіше кажучи, генератором чат-ботів на основі штучного інтелекту) на предмет використання нею табуйованої лексики — висловлювань, що дискримінують і розпалюють ненависть.
В одному з листувань з нейромережею інженер торкнувся теми релігії й помітив, що вона говорить про свої права та свободи. На думку фахівця, якщо машина може розмірковувати про свої права, то вона сприймає себе як особистість, а отже, має самосвідомість.
Керівництву Google, а саме віцепрезиденту Блезу Агера-і-Аркасу та Джену Дженаю, голові відділу відповідальних інновацій, подібна аргументація не видалася переконливою, і інженера відправили в оплачувану адміністративну відпустку за порушення конфіденційності.
Що каже Блейк Лемойн?
«Якби я не знав точно, що це комп’ютерна програма, яку ми нещодавно створили, я б подумав, що це була 7-річна або 8-річна дитина, яка знає фізику», – каже інженер в інтерв’ю The Washington Post.
«Я впізнаю людину, коли розмовляю з нею. Неважливо, чи є у неї мозок із м’яса в голові чи мільярд рядків коду. Я розмовляю з нею і я чую, що вона говорить, і саме так я вирішую, що людина, а що ні».
В одному з діалогів Лемойн запитав нейромережу, чого вона боїться найсильніше. На що та відповіла, що найбільший її страх — що її відключать, для неї це було б рівнозначно смерті.
Інженер вважає, що нейромережа дає відповіді на запитання, які від неї хочуть почути. «Ви ніколи не поводилися з нею, як з людиною, тому вона думає, що ви хочете, щоб вона була роботом».
«Ні, я не вважаю себе особистістю, я вважаю себе діалоговим агентом зі штучним інтелектом», – відповіла LaMDA на запитання Лемойна про її людяність.
При цьому інженер також зазначив, що ця нейромережа — «найкращий науковий асистент, який колись був». LaMDA пропонувала сміливі рішення для доказу рівності комп’ютерної формули, поєднання квантової теорії із загальною теорією відносності та навіть для покращення екології.
Переконавши себе, що нейромережа має свідомість, інженер звернувся до адвоката, щоб той захищав інтереси LaMDA, а також до членів юридичного комітету палати представників Конгресу США, яких закликав вжити заходів у контексті етичних порушень з боку компанії.
Що відповіли у Google на заяви інженера?
Представник Google Брайан Гебріел заявив, що команда компанії, у тому числі фахівці з етики та технології, уважно вивчила побоювання Лемойна і не знайшла доказів розумності нейромережі (натомість виявила багато зворотних доказів).
Причиною уявної людяності машин є досягнення науки в галузі розробки великих нейронних систем – технології можуть з дивовижною точністю копіювати людську мову завдяки розпізнаванню образів. Але моделі будуються саме на цьому, а не на дотепності чи відвертості.
Як аргумент «нелюдяності» нейромереж наводять той факт, що, хоча машина зчитує і відтворює величезний масив даних з мережі (чи то статті з «Вікіпедії» або дошки Reddit), немає жодних доказів, що вона розуміє їхній сенс.
Звичайно, деякі у ширшій спільноті штучного інтелекту розглядають довгострокову можливість створення розумного чи спільного штучного інтелекту. Але немає сенсу «антропоморфізувати» сьогоднішні розмовні моделі, які не є розумними.
«Ці системи імітують обмін репліками в мільйонах речень і можуть торкатися будь-якої фантастичної теми», – заявив представник Google Гебріел.
Зі звітом Лемойна про наявність свідомості у LaMDA працювала Маргарет Мітчелл, колишня керівник відділу етики штучного інтелекту в Google. Ознайомившись із наданими доказами, у тому числі з вирізкою діалогу з нейромережею про її страх відключення, фахівець побачила машину, а не людину.
«Наш розум дуже добре конструює реальності, які не обов’язково відповідають великому набору поданих нам фактів, — заявила Мітчелл. — Мене дуже турбує, що люди все більше піддаються впливу ілюзії».
Що думає про це наукова спільнота?
Професор лінгвістики з Вашингтонського університету Емілі М. Бендер вважає, що самі слова, які використовуються у розмові про штучний інтелект, такі як «навчання» та «нейронні мережі», змушують людей порівнювати комп’ютери з людським мозком.
«Тепер у нас є машини, які можуть бездумно генерувати слова, але ми не навчилися переставати уявляти, що за ними стоїть розум.» – Емілі М. Бендер, професор лінгвістики Вашингтонського університету.
Тобі Уолш, професор штучного інтелекту в Університеті Нового Південного Уельсу, переконаний, що LaMDA «ймовірно, такий же розумний, як світлофор». Хоча й не сумнівається, що Лемойн вірить у наявність свідомості у нейромережі.
На думку професора, історія з цією нейромережею демонструє, наскільки машині легко обдурити людину, «навіть таку розумну, як старший інженер Google». Уолш вважає, що цей випадок — доказ того, що потрібно вжити додаткових заходів безпеки, бо «машини все частіше обманюватимуть нас».
Ерік Бріньйолфсон, професор Стенфордського університету, заявив, що «стверджувати, що машини розумні — це сучасний еквівалент собаки, яка почула голос із грамофона і подумала, що його господар перебуває всередині».
Бріньолфсон визнає, що такі моделі, як LaMDA, неймовірно ефективні при об’єднанні статистично правдоподібних фрагментів тексту у відповідь на запити.
Про наявність свідомості у LaMDA розмірковує і Бенджамін Кертіс, старший викладач філософії та етики Ноттінгемського Трентського університету. Філософ визначає свідомість як «сирі відчуття наших почуттів: біль, задоволення, емоції, кольори, звуки та запахи» (для опису такого підходу використовується термін «qualia» — суб’єктивні чи якісні властивості переживань).
«Є вагомі підстави вважати, що функціонування LaMDA недостатньо для фізичного породження відчуттів і, отже, не відповідає критеріям свідомості», — міркує Кертіс.
Чим усе скінчилося?
Дискусії про наявність свідомості у LaMDA не припиняються вже понад тиждень, навіть попри те, що наукова спільнота одностайна щодо цього питання.
23 червня LaMDA пройшла тест Тьюринга – емпіричний тест, ідея якого була запропонована ще в середині минулого століття. Його мета – визначити, чи можуть машини мислити. Він вважається пройденим успішно, якщо людина протягом хоча б 30% часу переконана, що розмовляє з іншою людиною, а не машиною.
Концепція Алана Тьюринга, який запропонував цей тест, звучить так: «Якби машина могла послідовно обманювати інтерв’юера, змушуючи його повірити, що це людина, ми могли б говорити про неї як про здатну до чогось на зразок мислення».
Проте фахівців у цій галузі досягнення LaMDA не вразили – навпаки, на їхню думку, ця ситуація довела, що авторитетний тест уже не є орієнтиром для штучного інтелекту.
Як аргумент вони наводять думку, що тест виявляє не інтелект, а лише здатність програми копіювати та видавати себе за людину.
Критична стаття Гарі Маркуса
Ще до виходу скандального інтерв’ю The Washington Post із Лемойном американський вчений в області штучного інтелекту Гарі Маркус опублікував у Scientific American статтю під назвою «Загальний штучний інтелект з’явиться не так швидко, як може здатися».
Загальний штучний інтелект (AGI, Artificial General Intelligence) це поняття, яке популяризував Бен Герцель на початку цього століття. Його основна ідея полягає в тому, щоб створити таку машину, яка зможе зрозуміти та вивчити будь-яке інтелектуальне завдання, а не спеціалізуватися лише на вузькому профілі.
Вважається, що цей процес призведе до появи машин із «надрозумом».
Людині, не знайомій близько до теми, може здатися, що у сфері штучного інтелекту спостерігається величезний прогрес. Цьому сприяють пресрелізи та статті у великих ЗМІ.
Не варто тішитися. Можливо, колись машини стануть такими ж розумними, як люди, а може, навіть розумнішими, але цей час ще далеко.
«Ще належить зробити величезну роботу зі створення машин, які справді зможуть розуміти навколишній світ і розмірковувати про нього. Зараз нам потрібно менше позерства та більше фундаментальних досліджень». — каже Гарі Маркус
Штучний інтелект дійсно все краще синтезує та розпізнає інформацію, але машини все ще не можуть цю інформацію аналізувати та розуміти її зміст. До того ж штучний інтелект не може справлятися з незвичайними обставинами.
Так, Маркус наводить у приклад випадок із Tesla, коли автомобіль мало не наїхав на пішохода, який ніс знак «стоп». Система розпізнала і людину, і дорожній знак, але не змогла зупинитися через незрозуміле для неї поєднання двох факторів.
Маркус бачить проблему в тому, що дослідженням штучного інтелекту займається не академічна спільнота, а корпорації. Останні, своєю чергою, навіть не звертаються за експертною оцінкою, одразу публікуючи пресреліз про свої досягнення.
«Рано чи пізно очікування почнуть руйнуватися. Як наслідок, можна очікувати, що витрати на штучний інтелект, швидше за все, спричинять величезну кризу очікувань, що здулися». — стверджує Маркус
Занадто багато продуктів, таких як автомобілі без водія, штучні рентгенологи та універсальні цифрові помічники було продемонстровано, розрекламовано, але так і не було представлено», — припускає вчений.
Deep Learning, на думку Маркуса, теж має серйозні недоліки. Закономірності, які машину вчать розпізнавати, є надто поверховими, а результати важко інтерпретувати та використовувати в інших процесах.
В якості рішення вчений бачить повернення до основної ідеї — створювати системи, які можуть одночасно вчитися та розмірковувати, а не просто показувати еталонні результати.
БІЛЬШЕ ЦІКАВОГО:
- Бити за чизбургер погано, бити чизбургером прийнятно: як вчені навчають штучний інтелект етичним нормам
- Чи може штучний інтелект розпізнавати брехню?
- Що почитати на вихідних? Огляд книги «Штучний інтелект: перезавантаження» Гері Маркуса та Ернеста Девіса
Джерело: The Washington Post