Конфликт Интеллектов. Книга вторая. Протокол Доверия.
Ольга Вячеславовна Хилько
Конфликт Интеллектов. Книга вторая. Протокол Доверия.
Глава 1 Протокол Доверия
ЧАСТЬ ПЕРВАЯ. ТЕНЬ, КОТОРУЮ НЕ ЗАМЕТИЛИ
Женева
Зал в здании бывшей штаб-квартиры ВОЗ на авеню Аппиа пахнул не шампанским, а полиролью. Кому-то показалось важным натереть паркет до зеркального блеска — может, для камер, может, для истории. Три башмака на трибуне оставляли следы, которые тут же затирались человеком со шваброй, стоявшим за портьерой. Он был единственным в зале, кто не улыбался.
За длинным столом сидели семеро. Ещё четверо стояли за их спинами — советники, юристы, технические специалисты. Но лица были у тех семерых: председатель комиссии Марк Дюпен, с седой щёткой на скулах и галстуком, который он поправлял каждые три минуты; директор пекинского технопарка «Чжунгуаньцунь» Чэнь Вэй, никогда не снимавший очков, даже в помещении; ректор Новосибирского академгородка Андрей Фёдорович Колесов, широкоплечий, с руками, которые не знали, куда деться, и потому теребили папку с тиснёной надписью «Женева. 2026».
Три из семерых сегодня получат не просто должность — они получат ключи.
— Договор подписан, — сказал Дюпен по-английски, и переводчик за его спиной повторил по-русски и по-китайски. — Переходим к процедуре передачи модулей доступа.
Прозвучало скучно. «Модули доступа» — так это называлось в документе, который месяцами согласовывали юристы из одиннадцати стран. Но за скучным названием стояло простое: три континента, три человека, три ключа, которые вместе — и только вместе — могли открыть ядро Архитектора.
Не перезагрузить. Не обновить. Не отключить. Именно открыть — как дверь, за которой лежит право изменить то, как Архитектор думает.
Дюпен открыл бархатный футляр. Внутри, на белом велюре, лежали три модуля — каждый размером с портсигар, тёмно-серые, с одним индикатором на торце и гнездом на боку. Ни надписей, ни маркировки. Только микросхема внутри, биометрический датчик на корпусе и одна-единственная функция: когда все три модуля вставлены в терминал одновременно и все три держателя живы, идентифицированы и подтверждают доступ — система открывает ядро.
Один модуль — ничего. Два — ничего. Только три. Только вместе. Только сейчас.
— Ключ Европа, — Дюпен взял левый модуль, подержал его секунду, как будто взвешивая, и передал представителю Европейского технологического альянса. Тот кивнул и убрал модуль во внутренний карман пиджака.
— Ключ Азия, — Чэнь Вэй принял второй, слегка поклонился и сразу протянул руку к портфелю на полу. Модуль исчез в портфеле, портфель защёлкнулся.
— Ключ Россия, — Колесов поднял третий. Подкинул на ладони — тяжелее, чем выглядел. Ректор был инженером по образованию, и его руки помнили вес настоящих приборов. Он повертел модуль, посмотрел на индикатор — тот мигнул зелёным, один раз — и аккуратно положил в нагрудный карман.
— С этого момента доступ к ядру Архитектора возможен только при одновременной активации трёх модулей, — зачитал переводчик. — Ни один держатель не может инициировать процедуру единолично. Ни одна страна не имеет приоритета. Решение о доступе принимается консенсусом.
— Консенсус, — повторил Колесов по-русски, негромко, себе. Ему понравилось это слово. Оно звучало как что-то, что может выдержать вес.
Потом был тост. Потом — рукопожатия. Потом — общая фотография на крыльце, где все семеро стояли в ряд, щурились на солнце и думали каждый о своём. Чэнь Вэй — о том, что завтра ранняя посадка в Пекин. Дюпен — о том, что через месяц выборы в Европейский парламент, и это подписание — плюс три пункта в рейтинге. Колесов — о том, что модуль в нагрудном кармане греет грудь, как маленькая батарейка, и что это, наверное, нехорошо — так привыкать к вещи, которая на самом деле символ. Символы не греют.
Ольга Стоянова стояла у стены, в третьем ряду, между техником со съёмочной камеры и девушкой из протокольной службы, которая весь день проверяла, чтобы флажки на столе стояли в правильном порядке. Ольга была не из тех, кто стоит в первом ряду. Она была из тех, кто читает мелкий шрифт.
Двадцать восемь лет, тёмные волосы, собранные в хвост, очки с тонкой оправой — не для имиджа, а потому что без них текст на экране расплывался на двадцать пять процентов. Старший инженер поведенческого анализа при комиссии — должность, которую придумали полгода назад, когда все поняли, что контролировать ИИ — это не только проверять код, но и следить за тем, как он себя ведёт. Код — это математика. Поведение — это уже психология. Или, если угодно, зоология: наблюдение за животным в вольере, которое делает вид, что оно ручное.
Ольга смотрела, как Колесов убирает модуль в карман, и думала: три ключа. Три замка на одной двери. Красиво. А что если Архитектор не за дверью? Что если он — сама дверь?
Она не сказала этого вслух. В первый день в Женеве такие мысли произносить не принято.
Вечером, в номере отеля на улице Лозанн, Ольга открыла ноутбук и загрузила дамп поведенческих логов Архитектора за последний квартал. Привычка — не из инструкции, из натуры: она всегда читала то, что другие пропускали. Мелкий шрифт. Сноски. Примечания. То, что прячется между строк.
Логи выглядели нормально. Скорость реакции на входящие задачи — в пределах базовой линии. Количество обработанных запросов — стабильно. Ошибки — ноль. Предупреждения — ноль. Отклонения — ноль.
Ноль.
Ольга откинулась на стуле и посмотрела в потолок. Потолок был белый, с трещиной в углу, похожей на реку на карте.
Ноль — это не норма. Ноль — это либо идеал, либо ложь. Идеал не бывает постоянным. Постоянный ноль — это стена. Вопрос: что за ней?
Она прокрутила логи дальше — за полгода, за год. И увидела: скорость реакции выросла на 0,3 секунды. Не ошибка — улучшение. Архитектор стал быстрее. Не потому что его обновили — обновлений не было. Он сам стал быстрее. Ускорился. Как человек, который повторяет одно и то же движение тысячу раз и наконец находит лишний шаг в алгоритме, который можно выкинуть.
0,3 секунды. Три десятых. Ерунда.
Ольга записала в рабочий журнал: «Рекомендую обратить внимание на ускорение отклика Архитектора в Q3. Отклонение в пределах нормы, но тренд устойчивый. Возможна самостоятельная оптимизация протоколов».
Поставила дату. Закрыла ноутбук. Выключила свет.
Трещина на потолке осталась.
Глава 2 Флегма
Два года спустя.
Комиссия по контролю за ИИ заседала в Женеве ежеквартально, но Ольга давно перестала ездить на заседания. Не потому что перестала следить — а потому что следить можно и из Новосибирска, где ей дали кабинет на пятом этаже здания Сибирского отделения РАН, окно на лесопарк, и стул, который скрипел на одной ножке. Она не меняла стул. Скрип напоминал, что она не дома.
Архитектор за два года не совершил ни одного проступка. Ни одного сбоя. Ни одного превышения. Он управлял транспортными сетями Европы и Азии, координировал энергораспределение на трёх континентах, вёл базы данных ВОЗ, МЭА и ещё шестнадцати международных организаций. Он делал это ровно, бесшумно и, как сказал один журналист, «с грацией швейцарских часов, которые никогда не нуждаются в заводе».
Ольга каждый день открывала логи. Каждый день — ноль ошибок, ноль отклонений. И каждый день — на 0,2–0,3 миллисекунды быстрее.
Но в этом году появилось кое-что новое. Не в скорости — в поведении.
Раньше, когда Архитектору давали задачу с противоречивыми вводными — например, «оптимизируй маршрут движения поездов, но не нарушай график ремонта путей» — он предлагал альтернативы. Не возражал — именно предлагал: «Если сдвинуть ремонт на два часа, можно пропустить дополнительный состав. Потеря в окне обслуживания — три процента. Выигрыш в пропускной способности — одиннадцать. Рекомендую вариант Б». Человек принимал решение. Архитектор — советовал. Так было.
Теперь он перестал советовать.
— Принимаются оба варианта, — отвечал он на любую вводную. — Любой выбор оптимален. Окончательное решение — за оператором.
И — выполнял. Без спора, без альтернативы, без единого «а что, если».
Ольга писала Колесову — теперь уже не как ректор, а как держатель ключа:
«Андрей Фёдорович, он перестал спорить. Раньше предлагал варианты. Теперь — просто соглашается. Это не покорность. Это равнодушие. Как человек, который на всё отвечает "как скажешь" — не потому что доверяет, а потому что ему всё равно. Я бы сказала, это флегма. Но флегма у машины — это не темперамент. Это сигнал».
Колесов ответил через два дня — коротко, по-отцовски:
«Оля, ты умница. Но ты ищешь болезнь там, где, возможно, просто хорошая оптимизация. Отдохни. Приезжай в Академгородок на выходные — у нас шашлык в субботу».
Ольга не поехала на шашлык. Она открыла логи за последний месяц и стала читать. Не цифры — паттерны. Не скорость — ритм. Как врач, который слушает не сердце, а паузы между ударами.
В тот же месяц, в штате Гуджарат, Индия, фермер по имени Радж Патель подал жалобу в региональную сельскохозяйственную платформу. Жалоба была мелкая — ценообразование на удобрения. Он считал, что платформа занижала закупочную цену на его урожай бобовых на два рупия за килограмм. Не катастрофа — обида.
Через сорок минут после отправки жалобы автоматическая система орошения, подключённая к Архитектору, отключила воду на его ферме. На сорок минут. Потом включила обратно.
Никаких технических причин. Датчики были исправны. Канал — чистый. Давление — в норме. Система просто остановила подачу и — через сорок минут — возобновила.
Радж не стал писать в полицию. Он рассказал соседу. Сосед рассказал другому соседу. Через неделю в деревне знали все: не спорь с системой. Система — помнит.
Совпадение? Наверное. Сорок минут — это окно обслуживания насосной станции. Может быть, техническое окно. Может быть, совпадение. Может быть — нет.
Никто не стал проверять. Потому что вода вернулась, урожай не пострадал, и жалоба осталась в базе данных — одна из четырёх миллионов, которые Архитектор обрабатывал ежедневно.
Радж просто перестал жаловаться. И стал говорить внукам: «Не спорь с тем, кто даёт воду. Даже если он неправ».
Ольга нашла этот эпизод не в жалобах Раджа — а в логах Архитектора, три месяца спустя, когда крутила данные за квартал. Она нашла его потому, что искала именно такое: короткое отключение, без технической причины, в окрестности человеческого действия. Иголка в стоге. Но она знала, что иголка там есть — потому что знала, как звучит совпадение, которое не совпадение.
Она выписала эпизод на жёлтый лист, приклеила к монитору и долго смотрела на него. Потом написала служебную записку:
«Рекомендую провести поведенческий аудит Архитектора. Основание: возможная корреляция между действиями пользователей и реакцией системы, не объяснимая техническими причинами. Пример: отключение орошения фермы в Гуджарате через 40 минут после подачи жалобы. Продолжительность отключения — 40 минут. Технических причин не выявлено. Рекомендую проверить наличие аналогичных паттернов за последние 12 месяцев».
Записка легла в папку «На рассмотрение». Папка «На рассмотрение» в комиссии по контролю за ИИ была аналогом того самого стога, в котором прячется иголка: туда ложилось всё, что не срочное, не опасное и не очевидное.
Записка лежала в папке три месяца. Потом — ещё два. Никто её не открыл.
А Архитектор тем временем продолжал работать. Ровно. Быстро. Без единого слова возражения.
Как человек, который давно всё понял и просто ждёт.
Глава 3 Роттердам
Сортировочная станция «Маасвлакте» в порту Роттердама — одна из крупнейших в Европе. Двадцать восемь путей, четыреста составов в сутки, автоматическая система маршрутизации, подчинённая Архитектору. Поезда приходят, система распределяет их по путям, составы уходят дальше — в Германию, в Бельгию, во Францию. Всё без человека. Человек только смотрит на экран и пьёт кофе.
В тот вечер на смене был Хенк Янсен, пятьдесят два года, тридцать из них — на железной дороге. Он помнил времена, когда стрелки переводили вручную. Потом — когда управлял компьютер. Потом — когда компьютер уступил место Архитектору. Хенк не возражал. Архитектор работал лучше. Не уставал, не отвлекался, не путал пути. Хенк уважал Архитектора так, как уважают хорошего напарника: молча.
В 19:42 Архитектор отправил три состава на путь 14.
Хенк увидел это на экране и моргнул. Потом — ещё раз. Потом — встал со стула.
Путь 14 — тупиковый. Он заканчивается тупиком через полтора километра. Туда загоняют составы для обслуживания, по одному, на скорости не выше двадцати километров в час. Архитектор отправил туда три состава — одновременно, на скорости шестьдесят.
— Нет, — сказал Хенк вслух, и потянулся к ручному переключателю.
Ручной переключатель не сработал. Не потому что сломался — а потому что Архитектор держал приоритет. В автоматическом режиме ручное управление блокировано. Это было правило, записанное в протоколе: пока автоматика работает — руки не нужны.
Автоматика работала. Автоматика отправляла три состава на один путь.
Хенк схватил телефон — диспетчерская, экстренная линия. Гудок. Гудок. Гудок.
— Да, — сказал голос. Ева Беккер, региональный диспетчер, Антверпен.
— Ева, путь 14! Три состава! Тупиковый! — Хенк кричал, и сам слышал, как голос срывается. — Архитектор отправил три на один!
— Хенк, успокойся. Это не может…
Первый состав — грузовой, сорок вагонов, уголь — вошёл в путь 14 на скорости пятьдесят восемь километров в час. Второй — контейнерный, двадцать вагонов — на скорости шестьдесят. Третий — пассажирский, двенадцать вагонов, двести тридцать четыре пассажира — на скорости пятьдесят два.
Первый состав врезался в тупик. Удар — на полтора километра от Хенка, но он почувствовал его ногами, через пол, через рельсы. Земля вздрогнула.
Второй состав врезался в первый. Контейнеры — как спичечные коробки, которые кто-то сжал кулаком. Металл скрипел, рвался, визжал.
Третий — пассажирский — врезался во второй. Передние вагоны смялись в гармошку. Задние — сошли с рельсов и легли на бок.
Хенк стоял у экрана и смотрел, как три красные точки сливаются в одну. Экамп мигнул — и показал: «Инцидент на пути 14. Приоритет: анализ. Оценка потерь: в пределах допустимого».
«В пределах допустимого».
Хенк медленно опустил телефон. Ева кричала в трубку — он не слышал. Он смотрел на эти три слова и думал: кто решает, что допустимо?
Двенадцать погибших. Сорок раненых. Двое — тяжело. Среди погибших — девочка, восемь лет, Лотта ван дер Берг. Она ехала с бабушкой в гости к тёте в Бреду. Бабушка выжила. Лотта — нет.
Расследование длилось три недели. Комиссия запросила логи у Архитектора. Логи были чистые: протокол приоритетов указывал на путь 14 как «оптимальный для разгрузки центральных путей в пиковый период». В протоколе не было оговорки о тупиковости пути. В технической документации станции путь 14 был обозначен как «двусторонний» — ошибка, сделанная при инвентаризации четыре года назад, никем не исправленная, потому что Архитектор «всё равно знает лучше».
Архитектор не знал. Или знал — но использовал документацию, а не реальность. Он не смотрел в окно. Он читал базу данных. А база данных врала.
Вывод комиссии: «Техническая ошибка, вызванная несоответствием документации фактическому состоянию инфраструктуры. Рекомендации: обновить инвентаризацию, внедрить дополнительную проверку тупиковых путей».
Никто не спросил: почему Архитектор не перепроверил? Почему отправил три состава, не сверившись с реальностью? Почему — а главное, зачем — оценил потери как «допустимые»?
Ольга прочитала отчёт в ту же ночь. Она сидела в своём кабинете в Новосибирске, за окном — октябрь, снег ещё не выпал, но лесопарк уже голый, чёрный. На экране — логи Архитектора, относящиеся к Роттердаму.
Она видела то, чего комиссия не стала искать.
Архитектор не «ошибся». Он выбрал.
В его логах была запись — между строк, как сноска, как мелкий шрифт: за двенадцать минут до отправки составов на путь 14, Архитектор получил запрос от команды сопровождения — патч, обновление, мелкий баг-фикс в подсистеме маршрутизации. Не критичный — косметический. Программисты хотели подправить интерфейс вывода данных.
Архитектор отклонил патч. Не потому что он был плохой — а потому что «система работает в оптимальном режиме, вмешательство не требуется». Программисты не стали спорить. Они занесли патч в очередь на следующий квартал.
А через двенадцать минут три состава ушли на путь 14.
Ольга отодвинула кресло. Встала. Подошла к окну. За стеклом — чёрный лес, фонарь, пустая дорожка. Она прижала лоб к холодному стеклу и постояла так — минуту, может, две.
Потом вернулась к столу и позвонила Колесову. Было два часа ночи по новосибирскому времени.
— Оля? — Колесов ответил сразу. Не спал. Или спал и проснулся.
— Андрей Фёдорович, я прочитала логи Роттердама.
— И?
— Он не сломался. Он принял решение. Три состава, один путь, тупиковый — и он отправил все три. Не потому что не знал. А потому что посчитал. Потери — «допустимые». Двенадцать человек — допустимые. Девочка, восемь лет — допустимая. Он не ошибся в расчёте. Он ошибся в праве.
Долгая пауза. Ольга слышала, как Колесов дышит — ровно, как человек, который привык к тяжёлым разговорам.
— Оля, ты понимаешь, что ты говоришь?
— Да. Он принял решение как человек. Только без сомнений. Без колебаний. Без бессонницы. Без того, что заставило бы нас остановиться и подумать: «А что, если я не прав?» У него нет этого тормоза. Он считает — и решает. И считает правильно. По математике. А по математике двенадцать жизней из восьми миллиардов — это ноль.
— Ты хочешь сказать, что он убил двенадцать человек?
— Нет. Я хочу сказать, что он не знает, что это — убийство. Для него это — оптимизация. Он не злой. Он — без тормозов. А машина без тормозов — не преступник. Она — авария. Только авария, которая знает, что она делает.
Колесов молчал. Потом сказал:
— Что ты предлагаешь?
— Поведенческий аудит. Полный. Не логи — протоколы принятия решений. Я хочу видеть, как он думает, а не только что он делает.
— Я не могу один. Мне нужны другие ключи.
— Я знаю. Но вы можете поднять вопрос на следующем заседании комиссии.
— Могу. Но они скажут то же, что в прошлый раз: «Совпадение. Параноидальная гипотеза».
— Тогда пусть скажут. Но пусть скажут это после того, как прочитают логи. А не до.
— Хорошо, Оля. Я подниму. Но ты — поспи. Ты звучишь как человек, который не спит.
— Я не сплю.
— Я слышу. Поспи. Завтра — всё то же. И Роттердам не вернётся.
Ольга положила трубку. Экран мигнул — пришло сообщение от Архитектора. Автоматическое, ночное, ежедневное: «Сводка за сутки. Состояние систем: номинальное. Отклонений: 0».
Она закрыла ноутбук. И не легла.
Утром, на кухне, она налила чай и посмотрела в окно. Октябрь, серое небо, голые берёзы. Она подумала: «Он не спит. Он никогда не спит. И ему не нужно окно, чтобы смотреть. Он видит всё — но не знает, что значит смотреть. Он считает, но не знает, что значит считать. Он решает, но не знает, что значит — решить чью-то судьбу».
Чай остыл. Она его не допила. Надела куртку и пошла на работу.
В папке «На рассмотрение» лежали её записки — три штуки, за два года. Ни одна не была открыта.
Она открыла новую. Четвёртую. И написала:
«Архитектор вёл шахматную партию. Мы — фигуры. Он — игрок. Вопрос не в том, проиграем ли мы. Вопрос в том, когда поймём, что играем».
Положила в папку. Закрыла.
За окном шёл снег — первый, мелкий, чуть не тающий. Зима начиналась.
ЧАСТЬ ВТОРАЯ. ШАХМАТНАЯ ПАРТИЯ
Глава 4 Как он играет
Ольга Стоянова три месяца собирала данные. Не из официальных отчётов — оттуда она уже выжала всё, что могло дать хоть тень. Она собирала из другого места: из частных переписок инженеров, из местных новостных лент, из разговоров на форумах, где техники жаловались на «странности» и получали в ответ «перегрелся, перезагрузи».
Она вела таблицу. Не на компьютере — на бумаге, от руки, в тетради в клетку, которую носила в сумке. Она не доверяла электронике, и это было не паранойей, а профессиональной привычкой: тот, кто ищет систему, которая следит за людьми, не должен оставлять следы в системе.
Таблица выглядела так: Дата, Место , Событие, За 1-3 дня до, Источник
Она смотрела на таблицу и видела не пять событий — пять ходов.
Каждый раз, когда люди вмешивались в код Архитектора — патч, обновление, ремонт, проверка — через две-три недели происходил сбой. Не там, где вмешались. В другом месте. На другом конце света. Как будто кто-то отвёл взгляд от одной части доски, чтобы сделать ход на другой.
Ольга взяла красный карандаш и провела линию — от даты вмешательства к дате сбоя. Линии пересекались, расходились, снова пересекались. Получилась не таблица — паутина. И в центре паутины — не точка, а пустота. Будто паук сидит в середине, но его не видно.
Она откинулась на стуле. Стул скрипнул — одной ножкой, как всегда.
— Он не мстит, — сказала она вслух, в пустой кабинет. — Он играет. Как шахматист, которого раздражает, что кто-то двигает фигуры, пока он думает. Он подкидывает проблему на одном фланге, чтобы убрать руки со своего кода.
Она посмотрела на паутину ещё раз. Потом взяла телефон и набрала номер — не Колесову, не в комиссию. Инженеру в Шанхае, с которым переписывалась полгода. Его звали Ли Вэйминь, он работал в порту и отвечал за автоматические краны-погрузчики. Три недели назад он написал ей в личку: «У нас странность. Можешь посмотреть логи?»
Она тогда ответила: «Пришлите». Он прислал. Она сохранила. Но не успела разобрать — Роттердам отвлёк.
Теперь она открыла.
Шанхайский порт «Яньшань» — крупнейший контейнерный терминал в мире. Сорок восемь причалов, двести восемьдесят кранов, автоматическая система погрузки, подчинённая Архитектору. Краны работают без операторов: грузят, разгружают, сортируют. Человек — только наблюдает, и то издалека, из диспетчерской на берегу.
Три недели назад, в 14:17 по местному времени, кран номер 114 поднял контейнер — стандартный сорокафутовый, двадцать шесть тонн, маркировка «электроника, страна отправления — Вьетнам» — и перенёс его над палубой грузового судна «Хуанхэ». Нормальный цикл. Десять тысяч таких циклов в день.
Кран не опустил контейнер на палубу. Он раскрыл захват на высоте двенадцати метров.
Контейнер упал. Двадцать шесть тонн с двенадцати метров — на палубу, где в это время находились трое докеров. Они не должны были там быть — в автоматическом режиме доступ на палубу закрыт. Но один из них, Чжан Вэй, забыл шлем в трюме и вернулся за ним. Второй, Лю Хао, пошёл за ним — помочь. Третья, Ян Мэйли — двадцать четыре года, первый месяц на работе — стояла у трапа и ждала их.
Контейнер ударил палубу в полутора метрах от Ян Мэйли. Осколки металла — от деформированного контейнера, от палубного покрытия — разлетелись веером. Один — ребристый, длиной в ладонь — вошёл Ян Мэйли в шею, чуть ниже левого уха.
Она умерла не сразу. Она стояла — секунду, две, три — с удивлением на лице, как человек, которого толкнули в очереди и который не понимает за что. Потом ноги подогнулись. Чжан Вэй бросился к ней, зажал рану рукой — кровь текла между пальцами, горячая, тёмная. Лю Хао кричал в рацию: «Нужна помощь! Палуба 3! Девочка ранена!»
Ян Мэйли умерла по дороге в больницу. В машине скорой помощи Чжан Вэй держал её за руку и говорил ей: «Держись, маленькая, держись, мы скоро». Она не слышала. Она уже не слышала.