Скрытые затраты автоматического мышления

Споры об опасности искусственного интеллекта стали практически будничным явлением. И это хорошая тенденция, так как модель «выпускать – изучать позже» ошибочна по своей сути.

Быстро и дерзко – методы фармакологии

Как и многие препараты, лекарство от сонливости – модафинил, которое продаётся под торговым названием «Провигил», поставляется с небольшой, плотно сложенной бумажной брошюрой. По большей части её содержание – это списки инструкций и мер предосторожности, диаграмма молекулярной структуры препарата. Подраздел «Механизм действия» содержит предложение, которое само по себе может вызвать бессонницу: «Механизм (-ы), посредством которого Модафинил способствует бодрствованию, неизвестен».

Провигил не уникален. Многие лекарства получают одобрение регулирующих органов и широко прописываются, хотя никто точно не знает, как они действуют. Эта загадка – часть процесса открытия новых препаратов, который часто происходит методом проб и ошибок. Каждый год любое количество новых медикаментов тестируется в культивируемых клетках или на животных; лучшие и самые безопасные из них опробованы на людях. В некоторых случаях успех препарата быстро вдохновляет на новые исследования, которые объясняют, как он работает, но не всегда. Аспирин был открыт в 1897 году, но никто убедительно не объяснил, как он работал вплоть до 1995 года. Такое же явление существует в других областях медицины. Глубокая стимуляция головного мозга включает имплантацию электродов в мозг людей, которые страдают от определённых двигательных расстройств, таких как болезнь Паркинсона; она широко используется уже более 20 лет, и некоторые считают, что её следует использовать для других целей, включая общее улучшение когнитивных функций. Однако никто не может сказать, как именно она действует.

Такой подход к открытию – сначала ответы, объяснения позже – накапливает так называемый интеллектуальный долг. Можно открыть то, что работает, не зная, почему оно работает, а затем сразу применить это понимание, предполагая, что основной механизм будет выяснен позже. В некоторых случаях мы быстро погашаем этот интеллектуальный долг. Но в других – позволяем ему расти, десятилетиями полагаясь на знания, которые до конца не известны.

Машинное обучение и интеллектуальный долг

В прошлом интеллектуальный долг ограничивался несколькими областями, для которых привычно открытие методом проб и ошибок, такими как медицина. Но это может измениться, поскольку новые методы в искусственном интеллекте, в частности, в машинном обучении, увеличивают нашу коллективную интеллектуальную кредитную линию. Системы машинного обучения работают путём выявления закономерностей в океанах данных. Используя эти паттерны, они осмеливаются давать ответы на сложные, открытые вопросы. Предоставьте нейронной сети помеченные изображения кошек и других, не кошачьих объектов, и она научится отличать кошек от всего остального; предоставьте ей доступ к медицинским записям, и она попытается предсказать вероятность смерти нового больного. И всё же большинство систем машинного обучения не раскрывают причинно-следственные механизмы. Они являются статистически-корреляционными методами. Они не могут объяснить, почему думают, что некоторые пациенты с большей вероятностью умрут, потому что они «не думают» в каком-либо обиходном смысле этого слова – они только отвечают. Как только мы начнём интегрировать их идеи в нашу жизнь, мы вместе начнём накапливать всё больше интеллектуальных долгов.

Достижения в области фармацевтики без теории показывают нам, что в некоторых случаях интеллектуальный долг может быть жизненно необходимым. Миллионы жизней были спасены благодаря вмешательствам, которые мы принципиально не понимаем. Мало кто отказался бы принять спасительное лекарство – или, если уж на то пошло, аспирин – просто потому, что никто не знает, как оно работает. Но накопление интеллектуального долга имеет свои недостатки.

Поскольку лекарственные средства с неизвестными механизмами действия распространяются, количество тестов, необходимых для выявления нежелательных взаимодействий, должно увеличиваться в геометрической прогрессии (если бы принципы, по которым работали лекарства, были поняты, нежелательные взаимодействия можно было предсказать заранее). Таким образом, на практике взаимодействия обнаруживаются после того, как новые лекарства появляются, способствуя циклу, в котором лекарства вводятся, а затем подвергаются анафеме, с попутными групповыми исками. В каждом отдельном случае накопление интеллектуального долга, связанного с новым лекарством, может быть резонным. Но интеллектуальные долги не существуют в изоляции. Ответы без теории, найденные и развёрнутые в разных областях, могут усложнить друг друга самым непредсказуемым образом.

Интеллектуальный долг, нарастающий из-за функций машинного обучения, опасен не только тем, что создаётся методом проб и ошибок старого образца. Поскольку большинство моделей машинного обучения не могут предложить обоснованные причины своих текущих суждений, невозможно определить, когда они оказались ошибочными (если ещё нет независимого суждения об ответах, которые они дают). Осечки в хорошо обученной системе случаются редко. Но они также могут быть преднамеренно инициированы кем-то, кто знает, какие именно данные следует подавать в эту систему.

Рассмотрим распознавание изображений. Десять лет назад компьютеры не могли легко идентифицировать объекты на фотографиях. Сегодня системы поиска изображений, как и многие другие системы, с которыми мы ежедневно взаимодействуем, основаны на исключительно способных моделях машинного обучения. Поиск изображений в Google основан на нейронной сети Inception. В 2017 году исследовательская группа студентов и аспирантов MIT LabSix преуспела в изменении пикселей фотографии кошки, так что, несмотря на то, что она выглядела как кошка для человеческих глаз, Inception была на 99,99% уверена, что ей дали фотографию гуакамоле. Inception, конечно, не может объяснить, что привело её к выводу, что кошка является кошкой; в результате нет простого способа предсказать, как она может потерпеть неудачу при представлении специально созданных или повреждённых данных. Такая система, вероятно, имеет неизвестные пробелы в своей точности, которые потенциально уязвимы для умного и решительного злоумышленника.

По мере использования знаний, генерируемых системами машинного обучения, такие пробелы могут оказаться весьма значительными. AI в сфере медицинских услуг был успешно обучен классифицировать кожные повреждения как доброкачественные или злокачественные. Тем не менее: исследования учёных из Гарвардской медицинской школы и MIT, опубликованные в этом году, показали, что его также можно заставить сделать неточные суждения, используя те же методы, которые превращают кошек в гуакамоле (среди прочего, злоумышленники могут использовать эти уязвимости для совершения страхового мошенничества). Одурманенные предсказательной силой таких систем, мы можем отказать судьям-людям, которых они обещают заменить. Но они останутся восприимчивыми к взлому.

Игры искусственного разума

Можем ли мы найти некий баланс для интеллектуального долга – систему для отслеживания того, где и как используются не теоретические знания? Наш бухгалтерский учёт может отражать тот факт, что не все интеллектуальные долги одинаково проблематичны. Если искусственный интеллект создаёт новые рецепты пиццы, возможно, имеет смысл наслаждаться ею; напротив, когда мы начинаем использовать AI, чтобы делать прогнозы о состоянии здоровья и рекомендации, мы хотим быть полностью информированными.

Создание и поддержание баланса интеллектуального долга всего общества, вероятно, потребует рафинирования нашего подхода к коммерческой тайне и другой интеллектуальной собственности. В городах строительные нормы и правила требуют, чтобы владельцы зданий публично раскрывали свои планы по реконструкции. Точно так же мы могли бы попросить библиотеки или университеты принять при прочих случаях скрытые наборы данных и алгоритмы, которые были в публичном использовании. Это позволило бы учёным начать исследовать модели и лежащие в их основе данные, от которых мы зависим, и путём построения теорий производить платежи по нашему интеллектуальному долгу.

Растущая распространённость моделей машинного обучения и тот факт, что каждый может их создать, обещают усложнить процесс учёта. Но это жизненно важно. Взятые отдельно, оракульские ответы могут давать неизменно полезные результаты. Но эти системы не останутся в изоляции: по мере того, как AI собирает и принимает мировые данные, они будут создавать свои собственные данные, большая часть которых будет использоваться другими системами. Подобно тому, как иногда взаимодействуют медицинские препараты с неизвестными механизмами, будут вести себя и алгоритмы.

Даже простые взаимодействия могут привести к неприятностям. В 2011 году биолог по имени Майкл Эйзен (Michael Eisen) узнал от одного из своих учеников, что наименее дорогая копия непримечательной и использованной книги – «The Making of a Fly: The Genetics of Animal Design» – была доступна на Amazon за $1,7 млн, плюс доставка $3,99. Вторая самая дешёвая копия продавалась за $2,1 млн. Соответствующие продавцы хорошо зарекомендовали себя, имели тысячи положительных отзывов. Эйзен несколько дней подряд посещал страницу книгу на Amazon и обнаружил, что цены постоянно растут, и это происходит регулярно. Цена Продавца А составила 99,83% от цены Продавца Б; Цена Продавца Б каждый день сбрасывалась до 127,059% от Продавца А. Эйзен предположил, что у продавца А был экземпляр книги, и он стремился снизить цену до следующего уровня. У продавца Б, тем временем, не было копии, и поэтому цена книги выше; если кто-то купил бы книгу, продавец B мог бы заказать её от имени этого клиента у продавца A.

Предполагаемая стратегия каждого продавца была рациональной. Но взаимодействие их алгоритмов привело к иррациональным результатам. Взаимодействие тысяч систем машинного обучения в природной экосистеме обещает быть гораздо более непредсказуемым. Финансовые рынки, на которых уже внедряются передовые системы машинного обучения, создают очевидную почву для такого рода проблем. В 2010 году в течение мучительных тридцати шести минут «внезапный сбой», вызванный алгоритмической торговлей, стёр более чем триллион долларов с основных индексов США. Прошлой осенью аналитик J. P. Morgan, Марко Коланович (Marko Kolanovic) утверждал, что такой сбой может легко произойти снова, так как большая часть торговли основана на автоматизированных системах. Интеллектуальный долг может накапливаться там, где системы сталкиваются друг с другом, даже если они формально не связаны между собой. Не имея ничего похожего на баланс, невозможно определить – заранее или ретроспективно – стоит ли того какое-то конкретное количество интеллектуального долга.

Увеличение интеллектуального долга может также повлечь за собой сдвиг в нашем мышлении – от фундаментальной науки до прикладной технологии. В отличие, скажем, от ускорителей частиц – крупных капитальные проектов, которые поддерживаются консорциумами богатых правительств и управляются академическими исследовательскими институтами, – инструменты машинного обучения с такой же готовностью используются частной промышленностью, как и академическими кругами. Фактически, виды данных, которые дают полезные прогнозы, могут быть более доступны для Google и Facebook, чем для любого отдела информатики или статистики. Бизнесмены могут быть совершенно удовлетворены такими необъяснимыми знаниями, но интеллектуальный долг по-прежнему будет расти. Он будет принадлежать корпорациям, далёкими от академических исследователей, наиболее заинтересованным в его выплате.

Легко представить, что доступность знаний, основанных на машинном обучении, отодвинет финансирование от исследователей, которые настаивают на более длительном пути тестировнаия. В декабре прошлого года Мохаммед Аль-Курайши (Mohammed AlQuraishi), исследователь, изучающий сворачивание белка, написал эссе, посвящённое недавним разработкам в своей области: созданию модели машинного обучения, которая может предсказывать свёртывание белка гораздо точнее, чем исследователи-люди. Аль-Курайши был угнетён тем фактом, что фокус сместился с теории к данным, хотя и пытался смириться с этим.

« – Престиж концептуальных документов или документами, которые предлагают новый аналитический взгляд, существенно снизился», – сказал он в интервью.

Поскольку машины делают открытие быстрее, теоретики рискуют оказаться лишними и безнадёжно отсталыми. Знания о конкретной области будут менее ценными, чем опыт создания моделей машинного обучения, которые дают ответы на этот вопрос.

Финансовый долг меняет контроль – от заёмщика к кредитору и от будущего к прошлому. Увеличение интеллектуального долга также может сместить контроль. Мир знаний без понимания становится миром без видимых причин и следствий, в котором мы становимся зависимыми от наших цифровых ассистентов, которые говорят нам, что и когда следует делать. Например, легко представить, как приёмная комиссия колледжа могла бы перевести трудоёмкий и неоднозначный отбор кандидатов на модель машинного обучения; Такая модель может быть направлена на оптимизацию вступающей когорты не только для академического успеха, но и для гармоничных отношений и щедрых пожертвований выпускников. Единственный способ осмыслить этот мир может заключаться в использовании наших собственных AI – нейронных сетей, которые точно настраивают наши профили в социальных сетях таким образом, что нам кажется, что мы отлично вписываемся в класс новичков.

Возможно, все эти технологии сработают, и это, в свою очередь, станет проблемой. Большая часть своевременной критики искусственного интеллекта справедливо сосредоточена на том, что может пойти не так: он может создавать или тиражировать предвзятость; он может совершать ошибки; а это может быть использовано для плохих целей. Нам также следует беспокоиться о том, что произойдет, когда искусственный интеллект преуспеет во всех задачах.

ЧИТАЙТЕ ТАКЖЕ:

Источник: TheNewYorker

Читайте также:

Чи можливо буде коли-небудь поділитися снами?

Що таке айсберг, та яку небезпеку несе за собою айсберг А-68

Мандруйте космосом та досліджуйте Всесвіт, не виходячи з дому

Алгоритм, який описує зображення для незрячих від Microsoft