Китайське попередження — як працює соціальний рейтинг на основі Big Data

Ми дивилися фантастичні фільми про вплив онлайн-дій на реальне життя, лякалися відчайдушного полювання на бали, як у серіалі «Чорне дзеркало», — а тепер це все стало реальністю. Прогресивна спільнота обурюється системою соціального кредиту, яку запроваджує уряд КНР, та хіба лише Китай оцінює громадян в інтернеті й наяву? Не погодимося. Оскільки ця тема набула розголосу, ми вирішили перекласти українською мовою статтю західних дослідників про китайський соціальний рейтинг довіри на основі віртуального життя. Анонсовано повноцінний запуск такої системи в Китаї до 2020 року. Цілком можливо, що практика буде перейнята іншими країнами. Питання в тому, чи знатимемо про це ми, пересічні громадяни.

landscape

Китайський спосіб життя

Ще 2014 року Китайська Народна Республіка опублікувала документ під назвою «Планування структури системи соціальних кредитів», в основі якого — призначення громадянам певного рівня довіри. Уряд сам визначатиме, наскільки вам можна довіряти на основі всієї вашої діяльності, включно з інтернет-активністю. Уявіть світ, в якому всі ваші дії ретельно відстежуються та оцінюються: що ви купуєте в онлайн-магазинах; де ви знаходитеся в той чи інший момент часу; з ким і як товаришуєте; скільки годин витрачаєте на стримінг чи відеоігри; які рахунки і податки сплачуєте (або не сплачуєте). Насправді, уявити таке легко, оскільки більшість з описаного відбувається вже, завдяки регулярному збору користувацької інформації через Google, Facebook, Instagram, фітнес-трекери типу Fitbit тощо. Але майте на увазі: всі дії оцінюються, як позитивні чи негативні, а також перераховуються у бали. Порядок оцінювання встановлює державна влада, до компетенції якої тепер належить визначати, чи варто вам довіряти. На додачу, рейтинг буде публічною відкритою інформацією і від нього залежатиме, чи отримаєте ви іпотеку, нову посаду, в яку школу зможуть ходити ваші діти, і навіть — варто йти з вами на побачення чи ні.

Сценарій стане реальністю для 1,3 млрд китайців вже у 2020 році, коли уряд повноцінно запустить програму Social Credit System (SCS) з метою побудови суспільства, в якому «бути чесним і вартим довіри стане престижно й бажано». Втім, зовнішні експерти з китайського (і так доволі непростого) бізнес-середовища менш оптимістичні, аніж керуюча партія. Рожієр Крімерс (Rogier Creemers) з найстарішого університету Нідерландів Leiden University вважається провідним європейським спеціалістом з права та державного управління КНР. Саме він першим оприлюднив переклад системи соціального рейтингу довіри, яку називає своєрідною версією сервісів оцінки ресторанів, за умови, що бали виставляє держава, яка слідкує за кожним кроком громадян онлайн та офлайн.

Поки що участь в SCS добровільна, але до 2020 року стане обов’язковою для всіх людей, компаній та організацій, що провадять свою діяльність в КНР. Наразі триває підготовка до масштабного впровадження: 8 приватних компаній повинні отримати ліцензію від уряду (питання відтерміноване, втім плани щодо впровадження SCS залишилися без змін) на розробку алгоритму оцінювання. Дві найбільш вдалі схеми розробили інтернет-гіганти, що працюють з масивами користувацьких даних.

Перший — China Rapid Finance, партнер корпорації Tencent і розробник месенджера WeChat, який нараховує 850 млн активних користувачів. Другий — Sesame Credit, що входить до групи Ant Financial Services Group (AFSG) та є афілійованою компанією Alibaba. AFSG займається продажами страхових продуктів і надає позики малому й середньому бізнесу. Втім, найуспішнішим проектом групи є платіжний інструмент AliPay — китайці використовують його не тільки для купівлі в онлайн-магазинах, але і для оплати рахунків у ресторанах та кінотеатрах, в таксі та у шкільних закладах, навіть для грошових переказів. Sesame Credit об’єднала зусилля з іншими генераторами користувацьких даних: платформою для спільних поїздок Didi Chuxing (головний конкурент Uber на китайському ринку) та Baihe, сайтом знайомств. Тепер зрозуміло, що Sesame Credit вже має об’ємне досьє на велику частину населення країни, що дозволить виставляти оцінку кожному, відповідно до градації, встановленої державою.

То як буде визначатися рейтинг? Кожен в системі Sesame Credit зможе отримати від 350 до 950 балів. Alibaba не розкриває «складний алгоритм», який обчислює рейтинг, однак відкриває ті 5 факторів, які братимуться до уваги для оцінки того, чи варто вам довіряти:

  • Перший — кредитна історія. Чи платить оцей пан/пані вчасно за електрику, телефон?
  • Другий — здатність виконувати взяті на себе зобов’язання.
  • Третій — особисті дані, верифікована інформація про особу, наприклад, адреса чи номер мобільного телефону.
  • Четвертий — поведінка і особисті параметри, що є перевагами. І ось тут стає справді цікаво.

Система перетворює такі невинні речі, як звички покупця онлайн-магазину, на характерні риси особи. Alibaba визнає, що розподіляє та оцінює людей за типами продуктів, які вони купують. Лі Юньгунь (Li Yingyun), технічний директор Sesame пояснює: особа, що проводить по 10 годин на день за відеоіграми, вважатиметься ненадійною. Той, хто часто купує підгузки, імовірно має маленьку дитину, а значить вважатиметься індивідом з почуттям відповідальності. Система не просто досліджує поведінку, але на її основі формує характеристику громадян. Вона схилятиме користувачів уникати покупок і сценаріїв поведінки, які не подобаються уряду.

Скажи мені, хто двій друг

З покупками предметів зрозуміло, тепер переходимо на особистості. П’ятий фактор — стосунки між громадянами. «Скажи мені, хто твій друг, і я скажу, хто ти» — цей вислів ще ніколи не мав настільки буквального значення, як у версії китайського уряду. І навіть глибшого: матимуть значення всі онлайн-друзі та взаємодії з ними на просторах Мережі. Буде враховуватися, як і про що ви переписуєтеся у чатах. Те, що Sesame Credit називає «позитивною енергетикою» в інтернеті, буквально означає повідомлення на підтримку уряду, схвальні коментарі економічного стану республіки. Це підвищуватиме особистий соціальний рейтинг довіри.

Alibaba наполягає: всі негативні коментарі, що з’являються в соцмережах зараз (і до настання доленосного 2020 року) не враховуються для SCS, хоча підтвердити ці заяви неможливо, оскільки робота алгоритму не оприлюднюється. Але подумайте ось про що: пілотні проекти, які тестуються зараз, збирають наявну інформацію про громадян. Навіть якщо жодна з цих систем врешті не буде адаптована, а для SCS буде розгорнута умовна дев’ята технологія, малоймовірно, що уряд відмовиться від завантаження в неї відомостей з пілотних проектів. В такому випадку, вже сьогоднішня інформація буде оброблена в SCS. Оглядачі не виключають і такого сценарію, за якого уряд запровадить державну технологію, а приватні компанії будуть змушені передавати інформацію. Можливо, у них просто не буде вибору.

Давно відомо, що згадки про події на площі Тяньаньмень 1989 року не зроблять вас улюбленцем влади у Китаї, але тепер негативні наслідки матимуть буквально осяжний ефект, оскільки реально впливатимуть на кар’єру, умови життя. От що лякає: не менше на ці аспекти впливатиме і поведінка ваших онлайн-друзів. Не знаєте половину з вашого френд-списку Facebook? А як щодо їх політичних чи релігійних поглядів? У майбутній китайській реальності небажана урядом онлайн-поведінка контактів погіршить персональний рейтинг особи.

Посіпаки комуністичної партії

То як же так сталося, що мільйони людей вже погодилися брати участь в колосальній системі державного стеження за особистим життям? Причини можуть бути ще менш демократичні, ніж здається: наприклад, страх репресій. Але є величезний пул користувачів, які розраховують на привілеї і покращення рівня свого життя, за рахунок «зручної» для влади поведінки:

  • Той, хто набирає в системі Sesame Credit 600 балів, отримує право на позику в 5 тис. юань (біля $750) для онлайн-покупок на сайті Alibaba.
  • Маєте довіри на 650 балів — беріть машину на прокат без застави, швидше реєструйтесь в готелях, проходьте через VIP-вхід у найбільшому Столичному аеропорті Пекіна.
  • Громадяни з особистим балансом понад 666 балів зможуть брати позику до 50 тис. юань готівкою (понад $7,5 тис.), звичайно ж, тільки у Ant Financial Services.
  • 700 балами на рахунку — подорожувати до Сингапуру без подачі додаткових підтверджуючих документів, як от лист від роботодавця;
  • 750 балів — зможуть оформити шенгенську візу за пришвидшеною процедурою.

Вищі бали стають ознакою особливого соціального статусу, приводом для вихваляння — за перші місяці від запуску пілотного проекту майже 100 тис. користувачів Weibo (китайський Twitter) написали про свій рейтинг онлайн. Чим більше балів в рейтинговій системі Sesame, тим помітнішим стає профіль особи на сайті Baihe — пряма залежність ваших шансів познайомитися із кимось від ваших інших соціальних дій.

Sesame Credit вже підказує клієнтам, як вони можуть заробити додаткові бали, включно із порадою уникати онлайн-дружби із тими, хто має нижчий рейтинг. Це призведе до появи радників і консультантів з питань набуття додаткових балів, як стабільно підвищувати рейтинг чи видалитись із переліку громадян з низьким рівнем довіри. Минули часи, коли китайці доносили одне на одного — тепер достатньо робити чи не робити щось в інтернеті, щоб задовольняти бажання керуючої еліти. Раніше потрібно було вмовляти родичів і друзів не ходити на мітинги, а тепер громадяни намагатимуться контролювати, що саме їх близькі публікують онлайн. Інакше розриватимуть з ними стосунки.

Скоріше за все, буде сформовано і чорний ринок для торгівлі репутацією — не зовсім легальні варіанти для здобуття урядової довіри. Так само, як можна купити Facebook-вподобайки чи підписників Twitter, знайдуться ті, хто платитиме за додаткові бали. Не слід забувати і про хакерів (навіть найнятих самим урядом), які будуть зламувати систему для підвищення чи пониження рейтингу окремих людей. Нова китайська система рейтингу пропонує гейміфікувати слухняність населення.

Восени 2015 року знімальна група BBC вирішила розпитати жителів престижного району Пекіна про їх враження від Sesame Credit. Більшість коментаторів перераховувала плюси, але ж, хто б наважився вголос, та ще й по телебаченню, критикувати систему? Сюжет показав, до чого призведе масове поширення SCS: люди побоялися відповідати щиро, щоб не нашкодити самим собі у майбутньому. Та журналістів ще більше непокоїв той факт, що значна частина населення взагалі не знала про те, що їх рейтингують.

На сьогодні система не карає тих, хто виявився ненадійним — вважається, що ефективніше спонукати користувачів до певних дій, обіцяючи винагороду за хороші вчинки. Ху Тао (Hu Tao), керівниця програми Sesame Credit, попереджає: система розроблена таким чином, щоб не варті довіри громадяни врешті не могли ані взяти на прокат автівку, ані отримати позику чи навіть елементарно знайти гідну роботу. Більше того, вона розповіла про співпрацю Sesame Credit та управління освіти, в рамках якої останнє передасть інформацію про учнів та студентів, які порушували правила на національних іспитах, щоб в подальшому такі громадяни розплатилися власним рейтингом за нечесність. Розплата ж настане тоді, коли система буде обов’язковою по всій КНР. Відповідно до офіційних роз’яснень, головний принцип рейтингу в тому, що якщо ви не виправдали довіру в одній галузі, негативні наслідки та обмеження будуть застосовані скрізь.

Щоб було зрозуміліше, приклад: за низький рейтинг довіри громадянин матиме повільніший інтернет, не зможе відвідувати певні ресторани, нічні клуби чи курси з гри в гольф, буде обмежений у подорожах за кордон з додатковим контролем за використанням послуг у місцях відпочинку і туристичних компаніях. Об’єм довіри, яку ви викликаєте у SCS, впливатиме на можливість отримання позики, страхування чи будь-якої іншої соціальної гарантії. Ті, хто на думку держави не варті довіри, не зможуть навіть подавати свою кандидатуру для працевлаштування на окремі посади. На держслужбу, в журналістику чи для правозахисної діяльності відбиратимуть лише найнадійніших. Щоб потрапити до приватної платної школи, дитина має походити з родини з високим рейтингом довіри. Всі ці приклади не є умовними, вони прямо прописані в документації про розгортання SCS в КНР.

Як тепер китайці обиратимуть собі друзів, після появи рейтингу SCS?

Як тепер китайці обиратимуть собі друзів, після появи рейтингу SCS?

Вплив на свідомість суспільства

Професор філософії з Оксфорду Лучіано Флоріді (Luciano Floridi), який також досліджує вплив інтернету на глобальні зміни в розвитку соціуму, зауважує, що є три головні фактори, які вплинули на самоусвідомлення людини:

  • відкриття Миколая Коперника, що Земля обертається навколо Сонця;
  • принцип природного відбору за Чарлзом Дарвіном;
  • твердження Зигмунда Фройда, що підсвідомість впливає на наші щоденні дії.

Професор переконаний, що наразі ми переходимо до четвертого етапу становлення особистості, відповідно до якого онлайн та офлайн дії однаково впливають на наше життя. Раніше вважалося, що онлайн-життя є відокремленим від реальності. Від початку розвитку вебу те, що траплялося онлайн, залишалося онлайн. Але розмежування між реальністю і віртуальною активністю поступово зникало, а нові ініціативи на рівні державної влади закріплюють невідворотність відповідальності реальним життям за онлайн-поведінку.

Візьмемо той же Facebook: всі ж погодяться, що намагаються зобразити себе там трішечки правильнішими, розумнішими чи соціальнішими, ніж є насправді? А як щодо поїздки на Uber, коли ви промовчали і не посварилися із водієм, бо вчасно згадали, що пасажири так само отримують оцінки? Але що там оцінки в Uber — навесні 2016-го року з’явився мобільний додаток Peeple, в якому будь-хто міг залишати відгук та ставити оцінку своїм знайомим, родичам, сусідам, керівнику і колишнім партнерам. Кожен бачить свою загальну оцінку, що базується на відгуках і рекомендаціях. Одного разу додавши своє ім’я в додаток, ви його звідти не заберете. Навіть видаливши програму, ви не полишите її базу і про вас можуть продовжувати залишати відгуки. Peeple забороняє розкривати інформацію про чийсь стан здоров’я, вживати нецензурну лексику, сексизми, але майже не регулює, як саме визначається рейтинг і за якими критеріями.

Перші наслідки і обмеження

Хоча система проходить тестування, наслідки її розгортання вже відчуваються. В лютому цього року Верховний суд КНР оголосив, що за останні 4 роки 6,15 млн громадян отримали покарання за соціальні проступки — їм не дозволили здійснити польоти. Заборона на перельоти позиціонується як крок судової системи назустріч рейтингу SCS. Менг Кшіанг (Meng Xiang), голова виконавчого департаменту Верховного суду розповів, що вже підписано меморандум про співпрацю з 44 державними установами, з метою запровадження на різних рівнях обмежень для громадян, які дискредитували себе. Ще 1,65 млн китайців потрапили до списку людей, які не можуть подорожувати потягами.

Алгоритми обчислення рівня довіри є несправедливо обмежуючими. Вони не враховують контекст і нюанси кожного окремого випадку. Наприклад, хтось може пропустити обов’язковий платіж по кредиту через те, що знаходиться в лікарні, а хтось — просто тому, що дармоїд. Це і є найбільшим викликом для технологій, які поєднують цифровий і реальний світ, при тому, проблема актуальна для всіх сучасних користувачів, не тільки для учасників SCS. Алгоритми повинні навчитися враховувати нюанси, суперечності й протиріччя, притаманні людям, щоб адекватно відображати їх в системі оцінювання і рейтингів.

Коли інформації недостатньо

Можна сказати, що в китайській SCS поєднується фантастика «1984» Джорджа Орвелла і тактика дресування песиків за науковцем Іваном Павловим. Поводься, як порядний громадянин, отримуй винагороду і переконуй сам себе, що тебе все влаштовує. Але не будьмо занадто суворими до Азії — насправді, у західній цивілізації системи персонального оцінювання громадян діють впродовж багатьох десятиліть. От тільки про них не говорять так відверто на державному рівні.

Більш ніж 70 років тому інженер Біл Фер (Bill Fair) і математик Ерл Ісаак (Earl Isaac) винайшли кредитний рейтинг та розробили програмне забезпечення, що допомагає приймати зважені обґрунтовані рішення. В портфель продуктів FICO (від назви «Fair, Isaac and Company», започаткованої у 1956 році) входять аналітичні системи для автоматизації, оптимізації, уніфікації процесів прийняття рішень. Сьогодні програми FICO використовуються, в тому числі, щоб визначати рівень ризику для іпотеки або ж чи варто видавати позику взагалі. Більша частина населення КНР ніколи не мала кредитного рейтингу, оскільки не має змоги отримати кредит. Вень Цюань (Wen Quan), впливовий блогер, що пише про технології й фінанси, пояснює:

«— Багато людей в Китаї не є власниками будинків, машин чи кредитних карток, тож інформацію про них неможливо оцінити, щоб проставити рейтинг. Центральний банк володіє фінансовою інформацією про 800 млн чоловік, але тільки 320 млн мають те, що вважається традиційною кредитною історією».

Міністерство торгівлі КНР звітує, що через нестачу кредитної інформації економіка щорічно втрачає понад 600 млрд юань (більше $9 млрд). Недоліки національної кредитної системи уряд збирається виправити завдяки SCS, щоб заповнити «дефіцит довіри». В галузях економіки, які погано регулюються, відсутність певного рівня надійності обертається недоотриманими прибутками в держбюджеті. Міжнародна організація OECD констатує, що 63% всіх підробок у світі (від годинників і шкіряних сумок до дитячого харчування) походить з КНР. Рожієр Крімерс пояснює: «Рівень корупції на місцях просто величезний. Якщо система зможе привнести хоч трохи порядку і допоможе боротися із підробками, скоріше за все, її радісно запровадять». В еру великої швидкості укладення контрактів, можливість оперативно перевірити рейтинг довіри контрагента допоможе вести законну діяльність.

Уряд також вказує на той факт, що рейтинг персональної довіри надасть змогу незахищеним верствам населення покращити умови життя. Студенти чи малозабезпечені громадяни, які роками не мали змоги отримати певні блага, тепер зможуть заробити право на них. Мета, яку переслідує держава, звучить як бажання розвивати «чесний менталітет і прозорий рівень кредитування всього суспільства», щоб поліпшити «загальну конкурентоспроможність країни». Власне, для країни, яка має довгу історію ретельного стеження за своїми громадянами, впровадження рейтингу SCS не є чимось аж надто шокуючим. Блогер Расул Маджид (Rasul Majid), який живе в Шанхаї і пише про психологію ігор, пропонує поглянути на проблему з іншого ракурсу:

«— Китайці і так знають, що за ними стежать, і що все, написане онлайн, буде зафіксовано. То чи не краще чітко знати правила гри, яку веде уряд, щоб використовувати цю інформацію для власної користі? Чи ви хочете продовжувати жити в уявному світі, де ніби існує недоторканість особистого життя в інтернеті, і вірити, що держава поважає межі вашого особистого простору?»

Іншими словами, блогер вважає, що розкривши план впровадження SCS, уряд надав користувачам трохи більше можливостей контролювати свої дані.

Рейтинги, про які ми нічого не знаємо

Європейські та американські IT-видання обурилися, дізнавшись про плани китайської партії оцінити громадян. Хоча ми й самі не від того, щоб поставити комусь оцінку: маємо бали для ресторанів, кіно і кінотеатрів, книг та лікарів. А тим часом алгоритм Facebook, наприклад, може розпізнати вас на фотографії, навіть не бачачи ваше обличчя, — програмі потрібні лише одяг, волосся і структура тіла, щоб відмітити саме вас на зображенні, з точністю до 83%. Ще у 2015 році OECD підрахувала, що на 100 жителів США припадає не менше 24,9 підключених пристроїв. Всі компанії, які виробляють і обслуговують такі гаджети, збираються безліч інформації про користувачів і їх звички, щоб розуміти і передбачати онлайн-поведінку.

Не тільки виробники техніки, але і уряди різних країн займаються моніторингом. Американське АНБ навіть і не заперечує масштабного стеження за всіма громадянами. Адміністрація безпеки транспорту в 2015 році запропонувала поширити дію програми PreCheck з перевірки походження особи на дослідження соціальних мереж, історію геолокації та онлайн-покупок. Ідею розкритикували, але це не означає, що від неї відмовилися. Жителі США так само живуть у світі, де алгоритми вирішують, чи є особа небезпечною або походить із зони ризику, чи є вона порядним громадянином і чи можна їй довіряти. Захід набагато ближче до Сходу, який трансформує кредитний рейтинг в соціальну систему оцінювання SCS. От тільки, на відміну від китайців, американців про це офіційно не повідомили.

То невже на нас чекає майбутнє, в якому всіх будуть досліджувати і оцінювати за онлайн-діями, роздаючи ярлики? Схоже, все до того йде. Хтось намагається повстати проти нових традицій і відвоювати приватність у «темному» інтернеті, але правда полягає у тому, що ми крокуємо до реальності, в якій усі вчинки будуть оцінені за градацією, про яку ми нічого не знаємо, і оцінку не можна буде змінити чи видалити. Забудьте про право видаляти контент, право бути забутим (яке так довго і болісно виборювали країни ЄС), про право бути молодим і дурним.

Зупинити цей рух вже нереально, але ми зможемо вплинути на ситуацію. В першу чергу, потрібно встановити рейтинг довіри для самих оцінювачів. Потрібні надійні прозорі механізми, що управлятимуть процесом і забезпечать належне використання інформації. Щоб довіряти системі, в ній не повинно залишитися жодного нерозкритого елементу. Аргументів розробників, що оприлюднений алгоритм легше обійти, недостатньо, адже мова йде про налаштування системи, яка визначатиме рівень та якість життя кожного окремого індивіда.

Скоріше за все, влада Китаю захоче виключити перших осіб держави із рейтингу. Однак, це буде занадто очевидним кроком: коли негативні вчинки управлінців не погіршать їх рейтинг, населення це помітить і обуриться. Щодо особливостей центрального регулювання такої системи рейтингів є багато запитань. Сьогодні КНР, а завтра будь-яка інша країна може запровадити оцінювання людей. І найголовніші питання полягають не в технологічній або економічній площині, а саме в моральній. Гейміфікація стеження за громадянами перетворить наше життя на онлайн-змагання з популізму, в якому ми всі будемо заробляти якомога більше балів, неважливо, наскільки сильно при цьому доведеться посупитися власними принципами і вподобаннями.

ЧИТАЙТЕ ТАКОЖ:

Джерело: Wired