Прогностические вооружения и Большие Данные

Прогнозирование в сфере высшей политики, экономики и военного дела всегда имело амбивалент- ную, а по-русски говоря, двойственную природу. С одной стороны прогнозирование являлось важнейшей стади- ей разработки ключевых стратегических, тактических и оперативных решений тех или иных проблем и задач, разработки и реализации крупных проектов и военных компаний. С другой стороны, прогнозирование, подкре- пленное мощным информационно-пропагандистским аппаратом, само по себе выступало как своеобразный вид вооружения, способ формирования будущего.

После знаменитых экспериментов американского социолога У. Томаса, прогнозы, подкрепленные соот- ветствующим информационным воздействием, сами по себе формируют реальность. Как гласит теорема Томаса:

«Если человек определяет ситуацию как реальную, она – реальна по своим последствиям». Другой американский

Елена Ларина, Владимир Овчинский

КИБЕРВОЙНЫ XXI ВЕКА. ВОЗМОЖНОСТИ И РИСКИ ДЛЯ РОССИИ

социолог, а по совместительству советник администра- ций нескольких президентов Р. Мертон на основе теоре- мы Томаса опубликовал статью «Самоисполняющиеся пророчества». Самоисполняющееся пророчество – это ложное определение ситуации, вызывающее новое по- ведение, которое превращает первоначально ложное представление в реальность. Таким образом, теорема Томаса вкупе с технологией Мертона позволяют исполь- зовать прогнозирование как мощное оружие в социоди- намике, психоинжиниринге, военном деле и бизнесе.

Поэтому вполне очевидно, что с развитием интер- нета и появлением Больших Данных, представляющих собой, в том числе и огромный поведенческий архив, возникло желание максимально использовать открыва- ющиеся возможности для разработки прогностических вооружений.

При этом к началу нулевых годов профессионалам, работающим в этой сфере, были ясны, по меньшей мере, три фундаментальных положения:

• во-первых, используя самые изощренные и эффек- тивные методы, можно прогнозировать процессы, но не события;

• во-вторых, прогнозы с высокой степенью вероят- ности можно делать в отношении групп различной раз- мерности, но не отдельных индивидуумов;

• в-третьих, знания о действиях групп и индивидуу- мов в одной ситуации не позволяет давать точные про- гнозы о подобных действиях, осуществляемых в другой ситуации.

Соответственно, оказалось, что различного рода прогнозы, базирующиеся на традиционных выборках, построении сценариев, экстраполяции попросту не ра- ботают.

Развитие интернета дало возможность оперировать Большими Данными относительно человеческого пове- дения, намерений, желаний и т.п. В этой связи специа-

Глава 3 БОЛЬШИЕ ДАННЫЕ

лист номер один в мире по интеллектуальному анализу данных Г. Пятецкий-Шапиро писал: «Прогнозирование на основе Больших Данных состоит в извлечении нетри- виальных выводов из заранее известных характеристик, признаков и сведений об объектах».

Использование интернета, как огромного, попол- няемого в режиме он-лайн поведенческого архива для прогнозирования развивается по трем ключевым на- правлениям:

• первое – это прямой интеллектуальный анализ общедоступных данных, предоставляемых поисковыми системами и различного рода социальными сетями и платформами;

• второе – это создание рекомендательных систем, которые прогнозируют различного рода выбор субъектов и групп, и на этой основе рекомендуют им что угодно – от книг до кандидатов в президенты;

• третье – это сложные прогностические системы, использующие разнородные данные, получаемые из открытой и закрытой части всемирной сети, обрабаты- ваемые с помощью всего арсенала интеллектуального анализа данных.

Исторически главный упор был сделан на работу с об- щедоступными интернет-данными из социальных сетей и поисковых машин. Еще два-три года назад никто не мог помыслить о том, что инструменты веб-прогнозирования будут в благожелательном ключе обсуждаться на сайте головного банка ФРС. Но это произошло. Первым делом, как всегда бывает, за дело взялись академические иссле- дователи, которые в Америке очень даже прагматически настроены и заинтересованы в максимально быстром внедрении их научных разработок в практику. В октябре 2010 г. в кругах инвестиционных аналитиков прогремел доклад Johan Bollen, Huina Mao (Indiana Unviersity), Xiao- Jun Zeng (The University of Manchester) «Twitter mood predicts the stock market».

Елена Ларина, Владимир Овчинский

КИБЕРВОЙНЫ XXI ВЕКА. ВОЗМОЖНОСТИ И РИСКИ ДЛЯ РОССИИ

Ими была сделана программа, которая позволяла использовать сообщения Twitter для прогнозирования движения индекса Dow Jones. Алгоритм работал сле- дующим образом – отбирал из всех Twitter сообщений в режиме реального времени сообщения, маркирован- ные определенными словами, затем удалял эмоцио- нально окрашенные сообщения и на основе обработки нейтральных, эмоционально не окрашенных сообщений выдавал прогноз. Выяснилось, что он позволил предска- зывать движение индекса на срок от двух до шести дней с точностью почти до 88%.

Большое признание в последнее время в Америке получили разработки Р. Петерссона, исследователя из Стэндфордского университета. В качестве неструктури- рованных данных для прогнозирования он использовал не Twitter, а контент социальных СМИ, т.е. платформ, где контент создают сами пользователи. Таких платформ с качественным контентом в англоязычном интернете на- считывается сотни.

Его исследования были восприняты компанией MarketPsych. Был создан прогностический модуль. Он уверенно дает при достаточно консервативной страте- гии 30% прибыли в год. В настоящее время эта компания приобретена крупнейшим информационным провай- дером, всемирно известным Thompson Reuters. Соот- ветственно прогнозы получают подписчики Thompson Reuters, интересующиеся инвестиционной и политиче- ской тематикой.

Совсем недавно за разработку системы, аккумули- рующей информацию Twitter для трейдинга, взялась компания Titan Trading Analytics. В своей системе они ис- пользуют 1500 ключевых слов и более 600 факторов. Как видим, создание и практическое использование про- грамм прогнозирования, базирующихся на неструкту- рированных данных web 2 и прежде всего Twitter, стало

Глава 3 БОЛЬШИЕ ДАННЫЕ

сегодня повсеместной практикой инвестиционных, ма- кроэкономических и политических аналитиков.

Огромную роль в современном геополитическом, военном и инвестиционном прогнозировании играют общедоступные данные, связанные с частотой поис- ковых запросов, которые постоянно публикуют главные поисковики мира, прежде всего, Google и Bing. В нынеш- ней реальности любой поисковый запрос представляет собой фиксацию процесса мышления о чем-то. Он пока- зывает нам объект этого мышления, его последователь- ность и многое другое. Когда интернет с одной стороны стал доступен для подавляющего большинства жителей в развитых странах в режиме онлайн нон-стоп, а с другой, пользователи приучились к интернету, как к источнику мгновенного получения любой интересующей информа- ции, использование поисковиков для прогнозирования стало возможным.

К настоящему времени независимыми группами ис- следователей, использующих различные методы и алго- ритмы обработки поисковых запросов в целях прогнози- рования установлено, что особым образом обработанная статистика поисковых запросов может выполнять роль опережающих индикаторов для целого ряда рынков и экономических параметров. В частности, это относится к динамике безработицы в США, Германии, Франции; динамике потребительских расходов на рынках электро- ники США, странах ЕЭС, Канаде; ценам на недвижимость США и Великобритании; биржевым индексам на «голу- бые фишки» на Нью-Йоркской и Лондонской биржах и фьючерсам на биржевой индекс китайских акций на Гон- конгской бирже.

Уже полгода Министерство здравоохранения США успешно использует систему, построенную на анализе поисковых запросов для опережающего мониторинга и прогнозирования различного рода эпидемий в стране. На сегодняшний день обнаружено более 50 показателей,

Елена Ларина, Владимир Овчинский

КИБЕРВОЙНЫ XXI ВЕКА. ВОЗМОЖНОСТИ И РИСКИ ДЛЯ РОССИИ

относительно которых поисковая статистика Google мо- жет быть использована как опережающий индикатор.

Вторым, бурно развивающимся направлением про- гнозных вооружений, являются так называемые реко- мендательные системы. Эти системы базируются на тща- тельном анализе поведения человека в сети. При этом анализируются не только его желания, высказанные в виде различного рода поисковых запросах, но и поведе- ние на сайтах крупных интернет-магазинов – например, что человек ищет, как долго рассматривает что-либо и т.п. Используется здесь так называемый неявный сбор данных, когда все действия человека в сети протоколи- руются. Затем, на основе сложных алгоритмов выдаются рекомендации, которые подталкивают человека к тому или иному выбору. Наиболее известные рекомендатель- ные системы созданы Amazon для книг и других товаров, продаваемых на этой универсальной платформе, eBay, Cinemax.com (рекомендации в отношении фильмов, де- монстрируемых в кинотеатрах), Videoguide (для потоко- вого видео) и т.п.

Во время последней избирательной кампании ко- манда Б. Обамы, договорившись с крупнейшими реко- мендательными платформами, успешно использовала их опыт для рекомендации Б. Обамы в качестве лучшего выбора для выявленных опять же по специальным ал- горитмам колеблющихся избирателей и людей, которые вообще не собирались идти на выборы. По оценкам американских экспертов использование этой системы сыграло едва ли не решающую роль в победе Б. Обамы в кампании 2012 года.

Сегодня крупнейшие банки являются клиентами рекомендательной германской компании Kreditech. Гамбургский стартап Kreditech использует во время при- нятия решений информацию, почерпнутую из Facebook. Людей, претендующих на получение кредита, просят на время предоставить доступ к их учётной записи в

Глава 3 БОЛЬШИЕ ДАННЫЕ

Facebook или других социальных сетях. По словам Алек- сандра Граубнера-Мюллера, одного из основателей фирмы, список ваших друзей выдаёт немало. Претен- дент, приятели которого прилично зарабатывают и жи- вут в хороших районах, имеет больше шансов на кредит. Претендент, знакомый которого отказался возвращать деньги, занятые у Kreditech, ничего не получит.

В качестве одного из наиболее ярких примеров сложных прогнозных систем можно привести проект Recorded Future. В январе 2010 года проект Recorded Future был запущен за счет инвестиций Google, инвести- ционного фонда американского разведывательного со- общества In-Q-Tel и собственных вложений К. Альберга – основателя проекта, в прошлом шведского разведчика и известного программиста.

Recorded Future базируется на трех основных блоках:

• Встроенном поисковике третьего поколения. В пер- вом поколении были системы типа Yahoo и HotBot. Они искали просто те или иные слова в документах и выдава- ли документы в произвольном порядке. Поэтому такого рода поисковики сопровождались каталогами, форми- ровавшимися в основном экспертами на основе поис- ковой выдачи. Нечто подобное можно до сих пор уви- деть на первой странице Rambler. Вторым поколением стал Google. Революция Брина-Пейджа состояла в том, что поисковик стал искать не только по документам, но и в значительной степени по связям между документами или сайтами. Третье поколение ищет не только объекты, соответствующие поисковым запросам, не только связи между документами, но и взаимосвязи между объекта- ми, их характеристиками и отношениями, содержащи- мися в различных документах. Сегодня это главное на- правление развития поиска. Оно в полной мере реали- зовано в Recorded Future.

• Разделении информационного поля на составляю- щие. В Recorded Future выделено три класса сообщений.

Елена Ларина, Владимир Овчинский

КИБЕРВОЙНЫ XXI ВЕКА. ВОЗМОЖНОСТИ И РИСКИ ДЛЯ РОССИИ

Первый – это сообщения о событиях. События – это для- щиеся определенный, достаточно небольшой период времени устойчивые конфигурации, которые характери- зуются единством времени, места, участников и т.п. К со- бытиям Recorded Future относит то, что может быть ин- терпретировано как факты, то, что реально произошло или происходит в данный момент. Второй – это мнения. К мнениям относятся любые сообщения относительно прошлых, настоящих или будущих событий, высказан- ные в авторитетных источниках, либо авторитетными людьми. В системе есть специальные алгоритмы, кото- рые позволяют для каждой области выделить большую выборку таких источников и персон. Наконец, третий – это реакции. Здесь принимаются во внимание любые спонтанные реакции людей на те или иные ожидаемые события, зафиксированные в различного рода тексто- вых сообщениях. Не обязательно, чтобы эти сообщения были из авторитетных источников. Главное, чтобы они имели отношение к событиям и мнениям, так или ина- че рассматриваемым и высказываемым в авторитетных источниках. Такое разделение на три сегмента информа- ционного поля, как выяснилось, позволяет достаточно хорошо улавливать как господствующие тенденции и опережающим образом реагировать на их изменения, так и выявлять слабые сигналы.

• Рассмотрении интернета, как огромной распреде- ленной сетевой базы неструктурированных данных. Еще у древних греков были знаменитые Мойры, которые пря- ли нити судьбы, образующие ткань реальности. Сестер было три. Первая олицетворяла, как мы теперь говорим, тренды. Вторая – случайности. Третья – неотвратимость последствий поступков и решений. Собственно Recorded Future использует поисковик, работающий в сегменти- рованном информационном пространстве в масштабе огромной сетевой базы данных. В сетевой базе данных разные объекты и их характеристики связаны друг с дру-

Глава 3 БОЛЬШИЕ ДАННЫЕ

гом прямыми, обратными и опосредованными связями. Соответственно, такой подход позволяет выявлять не только явные и очевидные связи, но и вести так назы- ваемый латентный анализ, т.е. получать неочевидные, а иногда даже и абсолютно не предполагаемые связи и от- ношения. К тому же обрабатывать огромное количество информации в алгоритмическом режиме. Т.е. опериро- вать информационными массивами, непосильными для непосредственной обработки человеком.

В настоящее время Recorded Future используется в трех сферах: государственной разведке и безопасности, в бизнесе, и в финансах для разработки инвестиционных стратегий.

Другим ярким примером прогностических систем нового поколения является платформа Quid. Эта систе- ма создана известным американским программистом и разработчиков Ш. Горли на деньги знаменитого Питера Тиля, чья разведывательная программа Palantir является любимым инструментом американского разведыватель- ного сообщества.

Quid занимается прежде всего научно-техническим прогнозированием, поиском тех ниш, которые могут дать максимальный эффект с точки зрения развития техноло- гий в любых сферах, включая сферу вооружения. Одно- временно система может быть использована как свое- го рода организационное оружие, поскольку выявляет, образно говоря, технологические дыры в потенциале любой страны мира. В качестве материала для прогно- зирования программа использует Большие патентные Данные, т.е. миллионы файлов, входящих в патентные базы по всем странам мира, а также информацию, по- черпнутую из научно-технических, технологических жур- налов и средств массовой информации.

В основе системы лежит простая, но очень эффек- тивная мысль. Впервые она была высказана более 50 лет назад знаменитым польским мыслителем и фантастом

Елена Ларина, Владимир Овчинский

КИБЕРВОЙНЫ XXI ВЕКА. ВОЗМОЖНОСТИ И РИСКИ ДЛЯ РОССИИ

С. Лемом. Идея состоит в том, что техника развивается примерно по тем же законам, что и живая природа. Как известно, в живой природе существует такая ключевая единица, как биоценоз, в который входят различного рода живые виды, составляющие пищевые цепочки, системы взаимодействия и в совокупности полностью заполняющими природный ландшафт. С. Лем предполо- жил, что то же самое происходит в технике. И назвал это техноценозом. Система Ш. Горли обнаруживает такие техноценозы, ищет в них пустые, незаполненные места. Именно эти пустые места оказываются точками роста, где появляются наиболее эффективные и одновремен- но наиболее прибыльные технические и технологиче- ские решения. С другой стороны, если это пятно не бу- дет заполнено, то система техноценоза будет уязвимой, неустойчивой и плохо приспособленной к дальнейшему развитию. За 2,5 года работы компании Ш. Горли ее кли- ентами стали ведущие американские корпорации, раз- ведывательные и военные структуры.

Таким образом, Большие Данные обеспечили по- явление новых, на порядки более эффективных, чем раньше, методов прогнозирования научно-технических, инженерно-технологических, инвестиционных, поли- тических, социальных и военных процессов. Эти мето- ды в совокупности с методиками глубокого анализа на основе все тех же Больших Данных позволяют говорить о создании принципиально нового вида вооружений, а именно – прогностических вооружений. Они могут быть использованы как обеспечивающий механизм для раз- работки и применения традиционных вооружений, так и при определенных условиях, о которых расскажем в сле- дующих статьях, как отдельный, принципиально новый вид вооружений. Более того, они становятся своего рода основой Shadow Power или невидимой силы, которая идет на смену мягкой силе.

Глава 3 БОЛЬШИЕ ДАННЫЕ

Не нашли, что искали? Воспользуйтесь поиском по сайту: