ДО НОВОГО МИРА: Последний человек старого порядка

— Кем?

— Недостаточно данных.

— Совет уведомлён?

— Да.

— Анна?

— Находится в центре.

— Андрей?

— На пути.

Максим уже вставал.

— Машину.

— Подана.

Через двенадцать минут он ехал по почти пустой Женеве.

Город только просыпался.

Автономные уборочные комплексы освобождали улицы после ночного дождя. Дроны развозили первые медицинские грузы. На фасадах зданий менялась прозрачность энергосберегающего покрытия. Несколько беспилотных автобусов шли практически пустыми, автоматически перестраивая маршруты под ранний пассажиропоток.

В другой день Максим смотрел бы на это с привычным удовлетворением.

Сегодня он видел другое.

Системы.

Тысячи систем.

Миллионы алгоритмов.

Каждая выполняла свою задачу.

Каждая оптимизировала собственную часть мира.

И где-то далеко один автономный аппарат перестал отвечать.

Одно событие.

Одна потерянная машина.

И вероятность войны выросла почти втрое.

— Покажи информационное поле, — сказал Максим.

На лобовом стекле появилась диаграмма.

Количество сообщений росло почти вертикально.

«РАЗВЕДЫВАТЕЛЬНЫЙ АППАРАТ СБИТ».

«ВОЕННАЯ ПРОВОКАЦИЯ».

«НАЧАЛО ОПЕРАЦИИ?»

«НЕПОДТВЕРЖДЁННЫЕ ДАННЫЕ О МОБИЛИЗАЦИИ».

Максим посмотрел на время.

Прошло меньше часа.

— Подтверждённые источники?

— Официального подтверждения причины инцидента нет.

— Тогда откуда сообщения о том, что аппарат сбит?

— Первоначальный источник не идентифицирован.

— Боты?

— Смешанное распространение. Автоматические и человеческие аккаунты.

— Координация?

— Анализ продолжается.

Максим закрыл глаза.

Вчера они обсуждали, имеет ли система право снижать распространение непроверенной информации.

Сегодня теоретический вопрос превратился в часы.

Может быть, минуты.

Автомобиль остановился у центра.

Максим вышел раньше, чем дверь успела полностью подняться.

Анна ждала в аналитическом зале.

На ней была та же одежда, что вчера.

— Ты вообще уходила?

— Нет.

— Что произошло?

— Пока никто не знает.

— Мне нужна версия.

— Их четыре.

Она вывела на экран.

Версия 1. Техническая неисправность — 18%.

Версия 2. Ошибка навигации с последующей аварией — 21%.

Версия 3. Случайное поражение системой ПВО — 34%.

Версия 4. Преднамеренное уничтожение — 27%.

Максим посмотрел.

— Самая вероятная версия — случайность.

— Если объединить первую, вторую и третью — да.

— А политическая реакция?

— Ведёт себя так, будто верна четвёртая.

— Почему?

Анна увеличила информационную карту.

— Потому что четвёртая версия самая простая для объяснения.

Максим молчал.

— «Нас атаковали» помещается в заголовок, — сказала она. — «Автономный аппарат мог быть потерян в результате сочетания технической неисправности, навигационного отклонения и ошибочной классификации объекта» — хуже.

— Не смешно.

— Я не шучу.

На центральном экране появилась новая строка.

Вероятность прямого столкновения: 76,8%.

Максим почувствовал, как внутри всё сжалось.

— Что изменилось?

— Совет безопасности одного из государств начал экстренное заседание.

— И это увеличило риск?

— Не само заседание. «Горизонт» прогнозирует решение.

— Какое?

Анна не ответила.

Экран ответил за неё.

Вероятность санкционирования ответного военного действия: 63%.

Максим смотрел на цифру.

Люди ещё сидели за столом.

Ещё спорили.

Ещё ничего не решили.

Но система уже моделировала результат.

— Насколько точен профиль?

— Семьдесят девять процентов на ретроспективной выборке.

— Ключевые участники?

— Девять человек.

— Покажи.

На экране возникли девять кодов.

Рядом — вероятности их позиций.

Пять склонялись к ограниченному ответу.

Трое — против.

Один оставался неопределённым.

— Кто последний?

Анна посмотрела на Максима.

— Председатель.

— То есть решение зависит от него.

— В значительной степени.

— Связь возможна?

— Формально нет.

— Неформально?

— Через Совет.

Максим уже набирал номер.

Анна поймала его за руку.

— Подожди.

Он посмотрел.

— Что?

— Если мы свяжемся с ним и сообщим прогноз, включится рефлексивная петля.

— Знаю.

— Мы потеряем текущую модель.

— Знаю.

— Тогда почему?

— Потому что мне не нужна правильная модель войны, Анна.

Он посмотрел на экран.

— Мне нужна война, которая не случится.

Она отпустила его руку.

Через двадцать семь минут председатель Совета безопасности появился на защищённой линии.

На этот раз Максим не показывал человеку вероятность его собственного решения.

Он показал последствия.

Первый сценарий.

Ограниченный ответный удар.

Через шесть часов — повышение готовности соседнего государства.

Через девять — закрытие части воздушного пространства.

Через двенадцать — перебои морской логистики.

Через семнадцать — обвал нескольких рынков.

Через двадцать четыре — ответное военное действие.

Через тридцать шесть — вовлечение союзников.

После сорока восьми часов модель становилась нестабильной.

— Вы хотите сказать, — медленно произнёс мужчина, — что один удар запустит всё это?

— Нет.

— Но вы только что показали.

— Я показал, что один удар может изменить вероятность тысяч последующих решений.

— Это словесная уловка.

— Нет. Это разница между причиной и началом цепочки.

Мужчина смотрел на него.

— Наш аппарат уничтожен.

— Мы этого пока не знаем.

— Он исчез вблизи чужой границы.

— Да.

— После нескольких дней военной активности.

— Да.

— И вы предлагаете ничего не делать?

— Я предлагаю узнать, что произошло, прежде чем создавать событие, после которого причина уже перестанет иметь значение.

— А если это была атака?

Максим помолчал.

— Тогда через несколько часов у вас будет подтверждение.

— А если за эти часы они атакуют снова?

На экране вспыхнула строка.

«Горизонт» автоматически рассчитал.

Вероятность повторного преднамеренного действия в течение шести часов: 8,3%.

Максим показал цифру.

Мужчина усмехнулся.

— Восемь процентов.

— Да.

— Вы готовы поставить безопасность моей страны на восемь процентов?

Максим почувствовал неприятное узнавание.

Вопрос был почти зеркальным тому, который он сам задавал другим.

Сколько риска достаточно, чтобы действовать?

Один процент?

Пять?

Двадцать?

Пятьдесят?

— Нет, — ответил Максим. — Я предлагаю сравнить эти восемь процентов с семьюдесятью шестью процентами риска эскалации после немедленного ответа.

Мужчина молчал.

— Сколько времени вам нужно?

— Шесть часов.

— У вас три.

Связь оборвалась.

Анна выдохнула.

— Три часа.

Максим посмотрел на таймер.

02:59:42

— Начинаем.

В следующие два часа центр перестал быть исследовательским учреждением.

Он стал штабом.

Данные поступали непрерывно.

Спутники.

Гидроакустические системы.

Военные радары.

Гражданские сенсоры.

Коммерческие спутниковые сети.

Метеорологические аппараты.

Морские платформы.

Даже данные автономных грузовых судов, проходивших через регион.

«Горизонт» собирал всё.

Люди проверяли то, что считали критическим.

ЭЛИС контролировал логические противоречия.

Впервые Максим видел, как система работает почти на пределе.

— Обнаружен фрагмент сигнала, — сказал инженер.

Максим подошёл.

— От аппарата?

— Возможно.

— «Возможно» мне не подходит.

— Тогда подождите.

— Сколько?

— Семь минут.

— У вас четыре.

Инженер посмотрел на него.

— Так быстрее физика не работает.

Максим отвернулся.

Через пять минут пришёл Андрей.

— Совет готов согласовать временный мораторий на военные действия.

— Обе стороны?

— Одна.

— Нам нужны обе.

— Вторая требует доказательств.

— Каких?

— Что аппарат не был уничтожен ею.

— Если бы у нас были доказательства, нам не нужен был бы мораторий.

— Я передам им твою блестящую логику.

Максим не ответил.

На экране таймер показывал:

01:47:13

Анна подошла.

— Есть проблема.

— Какая?

— Информационное поле.

— Что теперь?

— Появилось видео.

Она включила.

На записи была видна вспышка в ночном небе.

Потом падающий объект.

Подпись утверждала, что это момент уничтожения аппарата.

— Настоящее?

— Видео настоящее.

— Откуда?

— С гражданского судна.

— На нём аппарат?

— Неизвестно.

— Время?

— Совпадает примерно.

— Место?

— Погрешность около ста километров.

Максим выругался.

— Распространение?

Анна показала график.

За семь минут видео увидели восемь миллионов человек.

За девять — двадцать три.

Алгоритмы социальных платформ подхватывали его, потому что люди реагировали.

Люди реагировали, потому что алгоритмы показывали.

Ещё одна петля.

— Риск?

81,6%.

Максим почувствовал холод.

— Вот теперь система снова предлагает коррекцию информационного потока, — сказала Анна.

На экране появилась рекомендация.

Временно снизить алгоритмическое распространение видео до завершения геолокационной и событийной верификации.

Прогнозируемое снижение риска: 7,1%.

Максим смотрел.

Вчера он отказался.

Сегодня цена отказа была перед ним.

— Если видео окажется подлинным?

— Мы задержим распространение достоверной информации.

— На сколько?

— Система предлагает девяносто минут.

— Кто узнает?

— Платформы увидят изменение коэффициентов. Пользователи — нет.

— То есть люди будут считать, что сами видят информационную картину.

— Да.

— Хотя мы её изменим.

— Да.

Максим молчал.

Андрей сказал:

— Делай.

Анна посмотрела на него.

— Это не тебе решать.

— Тогда пусть решает Максим.

Они оба посмотрели.

— Семь процентов, — сказал Андрей. — Ты собираешься рисковать войной из-за того, что кому-то девяносто минут будут реже показывать видео?

— Вопрос не в видео.

— А в чём?

— В праве решать, что люди должны видеть.

— Никто ничего не запрещает.

— Мы изменим вероятность того, что они это увидят.

— Именно.

Андрей подошёл ближе.

— Максим, мы не обсуждаем учебный кейс. Если система права, через несколько часов могут погибнуть люди.

— А если мы привыкнем делать это каждый раз, когда система скажет, что информация повышает риск?

— Тогда будем обсуждать каждый раз.

— Кто?

— Мы.

Максим посмотрел на него.

Простое слово.

Мы.

Кто именно?

Аналитики?

Правительства?

Алгоритмы?

Люди, которые создали систему?

Кто дал им право незаметно менять информационную среду миллионов ради снижения вероятности события, которого ещё не произошло?

— Максим, — тихо сказала Анна.

Таймер:

01:21:06

Он принял решение.

— Не снижать распространение.

Андрей резко отвернулся.

— Но добавить к видео автоматическое предупреждение о непроверенном контексте.

Анна кивнула.

— Это снизит эффект.

— Насколько?

Система рассчитала.

2,8%.

— Мало, — сказал Андрей.

— Зато люди будут знать, что именно мы сделали.

— Война тоже будет знать?

Максим посмотрел.

— Если твой аргумент всегда заканчивается количеством спасённых жизней, Андрей, однажды ты сможешь оправдать им что угодно.

Андрей замолчал.

Максим сразу пожалел о резкости.

Но не забрал слова.

Через двадцать минут пришёл результат анализа видео.

Объект действительно находился примерно в нужном районе.

Но это был не разведывательный аппарат.

Фрагмент второй ступени коммерческой ракеты, вошедший в атмосферу.

Видео не имело отношения к инциденту.

Анна показала подтверждение.

— Отправляй всем.

Через четыре минуты оно появилось в информационных системах.

Но ложная версия уже жила собственной жизнью.

Часть людей не поверила опровержению.

Некоторые решили, что власти скрывают правду.

Другие утверждали, что видео заменили.

Максим смотрел на графики.

— Даже после доказательства?

— Информация не исчезает, когда становится ложной, — сказала Анна. — Она просто меняет аудиторию.

— Риск?

77,3%.

Снизился.

Но недостаточно.

Таймер:

00:43:18

— Что с фрагментом сигнала аппарата?

Инженер поднял голову.

— Есть.

— Показывай.

На экране появилась телеметрия последних секунд.

Сначала всё выглядело нормально.

Высота.

Скорость.

Курс.

Работа систем.

Потом резкое изменение.

— Поражение?

— Подождите.

Инженер увеличил участок.

— Вот.

За четыре секунды до потери связи навигационный модуль получил противоречащие друг другу данные от двух систем позиционирования.

Автопилот попытался скорректировать курс.

Потом ещё раз.

— Почему?

— Один из сигналов был ложным.

— Атака?

— Может быть помеха.

— Может быть?

— Или ошибка синхронизации.

— Дальше.

Аппарат отклонился.

Пересёк виртуальную границу зоны ограничения.

Система ПВО другой стороны классифицировала его как неопознанный объект.

— И сбила?

Инженер покачал головой.

— Не вижу пуска.

— Тогда что?

Он увеличил последнюю строку.

КРИТИЧЕСКОЕ ОТКЛОНЕНИЕ СИСТЕМЫ УПРАВЛЕНИЯ.

ПОТЕРЯ СТАБИЛИЗАЦИИ.

— Он упал сам, — сказала Анна.

— Вероятность?

«Горизонт» рассчитал.

Техническая причина с последующей потерей управления: 82%.

Максим почувствовал, как впервые за утро смог нормально вдохнуть.

— Отправить обеим сторонам.

— Уже.

Таймер:

00:31:42

Через семь минут пришёл ответ.

Одна сторона согласилась продлить мораторий.

Вторая запросила исходные данные.

Отправили.

Ещё девять минут.

Таймер:

00:15:03

Максим стоял у экрана.

Никто почти не говорил.

Система пересчитывала.

Вероятность прямого столкновения: 69,1%.

Потом:

61,4%.

54,8%.

— Они отменили ответное действие, — сказала Анна.

Максим не двигался.

46,2%.

Андрей выдохнул.

37,7%.

Кто-то в дальнем конце зала тихо хлопнул ладонью по столу.

Анна подняла руку.

— Рано.

Все замолчали.

29,5%.

21,8%.

Таймер дошёл до нуля.

Ничего не произошло.

Никаких сирен.

Никаких взрывов.

Никакого экстренного сообщения.

Просто цифра на экране.

Вероятность прямого столкновения в течение следующих 72 часов: 14,6%.

Кто-то засмеялся.

Не от веселья.

От напряжения.

Потом зааплодировал один человек.

Второй.

Через несколько секунд хлопал почти весь зал.

Максим стоял неподвижно.

Анна посмотрела на него.

— Мы сделали это.

Он не ответил.

— Максим?

— Не знаю.

— Что не знаешь?

Он показал на экран.

— Сделали ли.

Она поняла.

Если кризис не случился, невозможно было показать миру разрушенные города, которых удалось избежать.

Нельзя было назвать имена людей, которые не погибли.

Не существовало фотографии катастрофы, которую предотвратили.

Оставалась модель.

И вера в то, что она была права.

— Может быть, войны вообще не было бы, — сказал Максим.

— Может быть.

— Может быть, система переоценила риск.

— Может быть.

— Тогда что именно мы предотвратили?

Анна посмотрела на пустеющую карту.

— Возможность.

Максим усмехнулся.

— За это памятники не ставят.

— И хорошо.

Он повернулся к ней.

— Почему?

— Потому что если мы действительно научимся предотвращать катастрофы, никто не должен будет помнить наши имена.

Максим смотрел несколько секунд.

— Красиво.

— Иногда умею.

Вечером мир узнал о кризисе.

Не обо всём.

Правительства опубликовали совместное заявление о «временной напряжённости, успешно урегулированной посредством обмена данными».

Средства массовой информации быстро нашли больше.

Стало известно о прогнозе «Горизонта».

О вероятностях.

О рекомендациях.

О том, что международные решения были изменены на основании события, которого ещё не произошло.

И реакция оказалась совсем не такой, как ожидал Максим.

Одни называли систему спасением.

Другие — опасным прецедентом.

Третьи спрашивали:

кто будет отвечать, если однажды прогноз окажется ошибочным?

Четвёртые задавали другой вопрос:

кто будет отвечать, если система предупредит, а люди не послушают?

Но самое важное произошло через два дня.

Правительства одиннадцати государств официально запросили постоянный доступ к прогнозам «Горизонта».

Через неделю — двадцати трёх.

Через месяц — сорока одного.

Страховые компании захотели использовать модели для оценки региональных рисков.

Энергетические корпорации — для распределения резервов.

Логистические сети — для маршрутов.

Медицинские системы — для эпидемиологических прогнозов.

Финансовые регуляторы — для предупреждения кризисов.

Все хотели видеть будущее раньше.

Максим считал это победой.

«Горизонт» доказал, что способен делать то, ради чего его создавали.

Однажды вечером он стоял в конференц-зале перед журналистами.

На стене за ним была простая надпись:

«ГОРИЗОНТ: ПРЕДУПРЕЖДАТЬ ДО ТОГО, КАК СТАНЕТ ПОЗДНО».

— Доктор Симонов, — спросила журналистка из первого ряда, — вы утверждаете, что система предотвратила военный конфликт?

— Я утверждаю, что после выполнения части рекомендаций вероятность конфликта существенно снизилась.

— Это не ответ.

— Это единственный научно корректный ответ.

— Но если конфликта не произошло, как доказать, что он вообще произошёл бы?

Максим улыбнулся.

— Никак.

В зале зашептались.

— Тогда почему мы должны доверять системе?

Он посмотрел на журналистку.

— Не должны.

Тишина.

— Простите?

— Вы не должны верить «Горизонту». Вы должны понимать, на каких данных основан прогноз, какова его вероятность, где пределы модели и какие последствия имеет каждое решение.

— Значит, окончательное решение всегда должно оставаться за человеком?

Максим ответил без колебаний:

— Конечно.

В первом ряду Андрей слегка улыбнулся.

Анна, стоявшая у стены, почему-то не улыбалась.

— Даже если система точнее человека? — спросил другой журналист.

— Да.

— Почему?

Максим задумался всего на секунду.

— Потому что прогноз — это информация. Ответственность — человеческая.

Фраза попала в заголовки.

Её цитировали.

Обсуждали.

Через несколько дней она появилась на стене одного из университетов.

Максим даже немного раздражался из-за её популярности.

Он не считал, что сказал что-то особенно глубокое.

Для него это было очевидно.

Тогда.

Спустя три недели Международный совет утвердил расширение проекта «Горизонт».

Система получила доступ к новым массивам данных.

Энергетическим.

Транспортным.

Экономическим.

Медицинским.

Климатическим.

Логистическим.

Агрегированным поведенческим.

Максим подписал документ последним.

Перед подписью он прочитал пункт о персонализированном моделировании.

Остановился.

Вспомнил политика, которому система предсказала решение.

Потом собственный профиль.

Отклонение от базовой модели: 1,4%.

— Что-то не так? — спросил Андрей.

— Думаю.

— Опасное занятие.

Максим посмотрел на него.

— Поведенческое прогнозирование оставить только в закрытом аналитическом контуре.

— Хорошо.

— Никаких автоматических действий на основании индивидуальных прогнозов.

— Согласен.

— Никаких санкций.

— Конечно.

— Никаких ограничений прав человека из-за вероятности будущего поведения.

Андрей нахмурился.

— Мы даже не обсуждали такое.

— Поэтому лучше записать сейчас.

Он добавил пункт.

ИНДИВИДУАЛЬНЫЙ ПРОГНОЗ НЕ МОЖЕТ ЯВЛЯТЬСЯ САМОСТОЯТЕЛЬНЫМ ОСНОВАНИЕМ ДЛЯ ОГРАНИЧЕНИЯ ПРАВ, СВОБОД ИЛИ ДОСТУПА К ОБЩЕСТВЕННЫМ ВОЗМОЖНОСТЯМ.

— Доволен? — спросил Андрей.

Максим перечитал.

— Да.

— Подписывай.

Он подписал.

На экране появилось:

РАСШИРЕНИЕ ПРОЕКТА «ГОРИЗОНТ» УТВЕРЖДЕНО.

Максим ещё не знал, что через несколько лет юристы будут спорить о слове «самостоятельным».

Если прогноз не может быть самостоятельным основанием, может ли он быть одним из нескольких?

Если система оценивает человека как риск, можно ли повысить уровень проверки?

Изменить условия страхования?

Ограничить доступ к критической инфраструктуре?