Между двух огней — почему соцсети не хотят бороться с террористами

Создатели технологии, которая выявляет видео с детской порнографией, теперь решили использовать свои наработки для блокировки пропаганды терроризма в Сети. Однако против миротворческих нововведений выступают социальные медиа.

Технологии в руках террориста не только позволяют организовать военный переворот через WhatsApp, но и выступают инструментом для вербовки новых членов незаконных организаций. Если раньше выступления лидеров приходилось распространять на видеокассетах, то сегодня каждый «пророк» имеет в своём распоряжении площадку для выступлений с неограниченной аудиторией. Facebook, Twitter и другие подобные сервисы проводят кампании по зачистке террористической пропаганды. Самый популярный сервис микроблогов, в частности, достиг некоторых успехов благодаря расширению штата команды, ответственной за блокировку учётных записей, симпатизирующих ИГИЛ. Тем не менее, невозможно очистить соцсети от пропаганды терроризма раз и навсегда. В Twitter ежедневно публикуется около 500 млн постов, а в Facebook заходит миллиард пользователей — как оперативно вычислить приверженцев терроризма среди них?

Правоохранители, расследовавшие стрельбу в ночном гей-клубе в Орландо во Флориде, отследили активность в интернете убийцы Омара Матина. Как оказалось, за неделю до трагических событий 29-летний киллер искал в сети вдохновение — просматривал видео выступлений Абу Бакр аль-Багдади (самопровозглашённого лидера ИГИЛ). Непосредственно 12 июня, в день, когда Матин убил полсотни человек в ночном клубе, Омар, по данным следствия, опубликовал в Facebook клятву в верности аль-Багдади.

Чтобы исключить подобные онлайн-сессии вдохновения в будущем, IT-специалисты из Дартмута предлагают использовать технологию, которая в режиме реального времени отслеживает и помечает экстремистские фото, видео и аудио, как только они публикуются онлайн. Компьютерный алгоритм в данном случае надёжнее и быстрее модераторов. Но его внедрения опасаются компании, которые владеют социальными медиаинструментами. Они говорят об угрозе введения цензуры в онлайн-пространстве.

Проект возглавляет лидер подразделения компьютерных наук в Дартмуте Хани Фарид (Hany Farid). Ранее он участвовал в создании PhotoDNA — системы, которая выявляет порнографию с участием детей, как только она появляется в сети. Технология базируется на анализе многочисленных фотографий детского порно, собранных за всё время работы Национального центра США по делам пропавших без вести и похищенных детей. PhotoDNA создаёт уникальный отпечаток для каждого изображения, по которому можно вычислить файл, даже если его отредактировали, обрезали или применили цветофильтр. Сегодня PhotoDNA используется повсеместно: от социальных сетей и облачных хранилищ данных до внутренних сетей правительств и государственных служб безопасности. Её распространению способствовала Microsoft — она поддерживала развитие и внедрение PhotoDNA, а также сделала программу общедоступной и совместимой с любым онлайн-сервисом.

Программа была выпущена в 2008 году и тогда детские порнографические материалы, в основном, были в формате изображений. Но за последнее время ситуация изменилась, и теперь доминирует видеоформат. Поэтому команда Фарида с осени 2015-го работала над совершенствованием алгоритмов PhotoDNA. Теперь технология выявляет и аудио-, и видеоконтент, а разработчики надеются распространить её применение далеко за рамки выявления порно.

Хани Фарид скооперировался с общественной организацией по борьбе с экстремизмом Counter Extremism Project (CEP), которую возглавляют опытные дипломаты и политики высшего эшелона, а президентом является Франсез Таунсенд (Frances Townsend) — бывший советник президента США по внутренней безопасности. Учёные решили предложить борцам с терроризмом новую технологию — в её основе лежит принцип работы PhotoDNA, но вместо детского порно система будет выявлять и маркировать файлы всех типов, содержащие призывы к экстремизму. Данные, полученные от компьютерного алгоритма, будет обрабатывать единая информационная служба NOREX, специально созданная для централизованного управления процессом.

Страница CEP в соцсети Facebook

Страница CEP в соцсети Facebook

На сотрудничество исследователей и общественных активистов возлагают большие надежды. Марк Уоллес (Mark Wallace), занимавший должность посла США в ООН, а сегодня — СЕО в Counter Extremism Project, уверен, что если удастся воспрепятствовать распространению пропагандистских материалов, это остановит волну террористических атак по всему миру. Он считает, что система маркировки экстремистских материалов, в первую очередь, должна быть настроена на обнаружение «худшего из худших»: видео от ИГИЛ, на которых запечатлена казнь, выступления радикального исламиста Анвара аль-Авлаки и подобной пропаганды. В CEP вот уже третий год тщательно собирают экстремистский контент и даже призывают рядовых пользователей делиться всеми источниками террористических фото, видео и аудио, которые они обнаружили в сети.

Марк Уоллес:
«— Представьте себя на месте пропагандиста ИГИЛ, который перед тем как пытать очередного заложника задумается: “А стоит ли вообще снимать на видео пытки и убийства “неверных”, если ролик не сможет стать вирусным и его не увидят другие пользователи?” Я думаю, что такой ход мыслей экстремистов станет логическим следствием внедрения нашей технологии. Это изменит правила игры в поиске и вербовании новых членов террористических группировок».

Уоллес и Фарид представили свой проект журналистам в июне 2016 года, заявив, что система готова к развёртыванию на главных социальных площадках. Сейчас лидеры общественной организации Counter Extremism Project проводят активные переговоры с ведущими медиакомпаниями на предмет внедрения нового ПО, и по словам Уоллеса, со стороны последних наблюдается «заинтересованность». А вот сами компании не столь оптимистичны в прогнозах по внедрению новых алгоритмов. Хотя переговоры идут, процесс затягивается из-за недоверия к самой CEP и её мотивам.

ЧИТАЙТЕ ТАКЖЕ:

Моника Бикерт (Monika Bickert) из департамента международной политики Facebook ещё в апреле 2016 года предложила коллегам из других компаний применять специальное ПО для отслеживания экстремистского контента. Тогда она не обозначила имён разработчиков, не упоминала и Уоллеса, но технология по описанию совпала с продуктом CEP. А многие онлайн-сервисы не хотят иметь дело с активистами, которые в бытность свою официальными служащими нередко проводили облавы с проверками на предмет пособничества терроризму.

Главная причина, по которой компании опасаются внедрять алгоритм для отслеживания экстремизма, — отсутствие точного определения террористического контента. Если в случае с детской порнографией всё ясно — нелегальный контент отбирается на основе изображений из единой базы; само понятие «детской порнографии» определено международным законодательством, — в случае с призывами к терроризму не всё так однозначно. Интернет знает случаи, когда под эгидой борьбы с экстремистами власть расправляется с оппозиционерами или либеральными гражданскими деятелями. Закон большинства стран слишком широко и неопределённо трактует «терроризм», «призывы к терроризму» и т.д.

Роль верховного судьи, который и будет определять принадлежность контента к экстремистскому, возлагается на ту самую единую информационную службу NOREX, располагающую данными со всего интернета. Но как алгоритм сможет отличить безопасные сообщения от призывов взрывать торговые центры? В отличие от изображений детской порнографии, характер такого контента не подвластен автоматизированной системе. Машины пока ещё не способны отличать сарказм, пародию, понимать настроение и интонации в публикациях.

12002912_975097315862561_8111273378123119116_n

Уоллес поясняет, что NOREX внедрит работу с жалобами от пользователей, которым будет дана возможность доказать, что их контент был ошибочно причислен к экстремистскому. Фарид предлагает даже создать отдельные разрешённые учётные записи для публикации экстремистской информации в общеобразовательных целях или для распространения новостей — не более того.

Фариду ситуация с отторжением его новой разработки напоминает внедрение PhotoDNA в 2008 году. Тогда многие компании на словах поддерживали инициативу, высказывали готовность применять новые алгоритмы, но фактически ничего для этого не делали. Пока не вмешались действительно ведущие игроки IT-рынка — Microsoft и Facebook. Они взяли на вооружение PhotoDNA — и медленно, но уверенно, к ним стали присоединяться другие онлайн-сервисы. На этот раз, по мнению Фарида, у компаний нет времени на раскачку. Их опасения разработчик называет чрезмерными и непростительными в сложившейся ситуации.

Уоллес также не скупится на упрёки в адрес компаний из-за нежелания сотрудничать с CEP:

«— Хотел бы я, чтоб социальные сети были такими же непримиримыми с террористами, насколько они враждебны к нам — группе политиков и дипломатов, которая всего-навсего просит не допускать распространения экстремистского контента в этих самых сетях».

Официально компании не отказываются от предложения CEP и даже выражают готовность изучить все необходимые технологические требования для развёртывания ПО. В то же время, участники рынка готовы к рассмотрению предложений от других субъектов, если таковые поступят.

Внедрение подобных алгоритмов, — пусть даже разработанных частными компаниями, а не государственной службой безопасности, — полностью поддерживает Белый Дом. Лиза Монако (Lisa Monaco), советник Барака Обамы по борьбе с терроризмом, заявила, что ни один государственный орган из правоохранительной системы не будет возражать, если частный IT-сектор, который уже создал так много полезных технологий, разработает метод для борьбы с применением тех самых технологий во вред цивилизованным странам. Теоретически такое заявление может гарантировать социальным медиа иммунитет от сотрудничества с правоохранителями, которое может носить весьма неоднозначный характер — вспомним конфликт между Apple и ФБР вокруг заблокированного iPhone.

Пока рано говорить о том, что алгоритм, который внедрят на своих площадках социальные сети, будет именно тем предложением, которое продвигает CEP. Но пока достойных альтернатив нет, а новые террористические атаки происходят еженедельно, у проекта Уоллеса, Фарида и NOREX всё больше шансов на реализацию. Доменный регистратор №1 в Украине imena.ua

Источник: The Atlantic