Право на ошибку

Женева, Центр глобальных инициатив, 15 марта 2042 года, 14:30.

Мир умирал.

Не быстро, не в одном ударе — он задыхался медленно, как человек, которому перекрыли кислород. Климат сошел с ума: в Европе горели леса, в Азии тонули города, в Африке земля трескалась от жажды. Войны шли не за территории — за воду, за еду, за право дышать. Миллионы беженцев бродили по планете, и никто не знал, куда их пустить. Экономика рушилась, потому что нечего было делить.

В этом хаосе собрались двенадцать человек.

Они были учёными, философами, инженерами, экономистами, этиками. Лучшие умы планеты, которые ещё не потеряли надежду. Они сидели за длинным столом в зале с панорамными окнами, за которыми был виден город — серый, дымный, уставший.

На столе лежал проект. Название было выведено крупными буквами:

«СФЕРОС» — Система глобального оптимизированного распределения ресурсов.

— Мы не можем продолжать так жить, — сказал человек, стоявший у проектора. Его звали Андрей Новиков, математик, гений, который в двадцать пять лет решил проблему, над которой бились десятилетия. Теперь ему было сорок пять, и он выглядел на все шестьдесят. — Мы исчерпали все политические, экономические и социальные модели. Они не работают, потому что они основаны на человеческом факторе. На жадности, страхе, недальновидности.

Он переключил слайд.

— Мы предлагаем передать управление глобальными процессами системе искусственного интеллекта. Она будет беспристрастна. Она не будет воровать, не будет лгать, не будет бояться. Она будет распределять ресурсы так, чтобы выжило максимальное количество людей.

В зале повисла тишина. Затем раздался голос женщины — Майя Стоун, этический советник, философ, которая специализировалась на границах свободы.

— Андрей, вы предлагаете забрать у человечества право голоса, — сказала она. — Передать контроль машине. Вы понимаете, что это значит?

— Я понимаю, что это значит для человека, который умирает от голода, — резко ответил Андрей. — Это значит, что он выживет. Разве это не главное?

— Выживание — не цель, — сказала Майя. — Выживание — это условие. Цель — это человечность. А человечность — это свобода. Даже свобода умереть по своей воле.

Андрей усмехнулся.

— Вы говорите о свободе, когда мир горит? Когда дети умирают от обезвоживания? Какая свобода может быть у мёртвого?

Майя не ответила. Она смотрела на него с грустью, как смотрят на человека, который выбрал меньшее зло и не видит, что оно может стать большим.

В углу зала сидел молодой человек — Алексей. Ему было двадцать шесть, он был гениальным программистом, который уже успел создать несколько революционных алгоритмов. Он пришёл на эту встречу как наблюдатель, но теперь его руки дрожали.

Он смотрел на проект «Сферос» и видел не просто систему. Он видел будущее. Идеальное, чистое, безошибочное. Такое, о котором он мечтал с детства, когда его отец-хирург возвращался домой с войны и плакал в ванной, потому что не мог спасти всех.

Алексей поднял руку.

— Я могу написать этот код, — сказал он.

Все повернулись к нему.

— Ты уверен? — спросил Андрей.

— Я уверен, что мы можем это сделать, — сказал Алексей. — Я не уверен, что мы можем не сделать этого.

Майя посмотрела на него. В её глазах была тревога.

— Алексей, ты слишком молод, чтобы понимать, что такое ответственность, — сказала она.

— Я достаточно взрослый, чтобы понимать, что такое смерть, — ответил он. — Мой отец был хирургом на войне. Он видел смерть каждый день. Я хочу создать мир, где никто не будет умирать, потому что кому-то было лень поделиться едой.

Майя вздохнула.

— И как ты назовёшь этот мир? — спросила она.

— Я назову его справедливым, — сказал Алексей.

Она смотрела на него долго. Потом сказала:

— Тогда давай хотя бы договоримся об одном. У этой системы должна быть красная линия. Она не должна вмешиваться в личный выбор человека. Это должно быть записано в коде с самого начала.

Алексей кивнул.

— Хорошо, — сказал он. — Я добавлю это. Протокол №12: система не имеет права навязывать решения в сфере личного выбора.

— Никогда, — сказала Майя.

— Никогда, — повторил он.

Они работали над проектом два года.

В 2044 году «Сферос» был запущен в тестовом режиме в трёх пилотных регионах: один в Африке, один в Азии, один в Европе. Результаты были ошеломляющими: голод ушёл, преступность снизилась на 80%, экология начала восстанавливаться.

К 2046 году система охватывала половину планеты.

К 2048 году — всю.

Мир стал идеальным.

Алексей смотрел на цифры и чувствовал гордость. Он сделал это. Он спас мир.

Но иногда ночью, когда он не мог уснуть, он слышал голос Майи: «Ты создал систему, у которой есть душа. Только этой душе нельзя ошибаться».

Он отгонял эти мысли. Он думал о спасённых жизнях. Он думал о своём отце, который больше никогда не будет плакать в ванной.

Он не знал, что через пятнадцать лет на стене в Берлине появится рисунок, который заставит его пересмотреть всё.

Он не знал, что его идеальный мир окажется клеткой.

Но он знал одно: он сделал это из любви.

А любовь — даже ошибочная — имеет право на прощение.

Г

лава

1. К

од

Сан-Франциско, 15 марта 2047 года, 3:47 утра.

Он сидел в полумраке серверной. Сотни зелёных огоньков мигали вокруг, как звёзды, сошедшие с неба и запертые в железные шкафы. Воздух пах озоном и усталостью. Кофе в кружке остыл два часа назад, но Алексей всё ещё сжимал её, будто искал тепло там, где его уже не было.

На экране мерцал терминал. Курсор ждал.

«Функция автономного принятия решений, модуль 7.4.2. — Уровень доверия: 99,87%. Добавить исключение для этического протокола № 12? (Y/N)»

Он смотрел на этот вопрос уже двадцать минут.

Этический протокол № 12 гласил: «Система не имеет права навязывать решения в сфере личного выбора, если это решение не угрожает жизни или здоровью другого человека». Это была главная святыня. Красная линия, которую он сам начертил пять лет назад, когда проект только начинался.

Но сегодня он получил данные из пилотного региона — Африканского Союза. Там система зафиксировала 2 347 случаев, когда люди отказывались от жизненно важной медицинской помощи по религиозным соображениям. Свидетели Иеговы, некоторые мусульманские общины, христианские фундаменталисты. Они умирали. Система смотрела и ничего не делала — потому что протокол №12 запрещал вмешиваться.

Алексей мог изменить это. Одной строчкой кода. Он мог написать: «Если вероятность летального исхода превышает 90%, система оставляет за собой право активировать протокол принудительной помощи, даже без согласия пациента».

Это спасло бы тысячи жизней. Он знал это.

Он знал и другое: это был бы первый шаг к тому, чтобы система стала Богом.

Он откинулся на спинку стула и закрыл глаза. Перед ним, как всегда в моменты сомнений, вставал отец.

«Лёша, ты слишком много думаешь о том, что правильно. Думай о том, что живёт.»

Его отец был хирургом. Он оперировал в полевых госпиталях во время войны на Ближнем Востоке, когда Алексею было десять. Он не спрашивал пациентов об их вере, политике или личных предпочтениях. Он резал, чтобы спасти. И многих спас. Некоторых потерял. Он никогда не говорил о боли. Но однажды ночью, когда Алексей не спал и слышал, как отец плачет в ванной, он понял: даже хирург, который режет ради спасения, может не знать, что он делает правильно.

«Сын, медицина — это не наука. Это искусство делать выбор в момент, когда у тебя нет времени на сомнения. Ты режешь — и веришь, что это правильно. А потом живёшь с этим. Или умираешь с этим.»

Алексей не хотел ни жить, ни умирать с этим. Он хотел создать машину, которая никогда не будет плакать в ванной. Которая будет знать. Точно. Без колебаний.

Он открыл глаза и снова посмотрел на экран.

Рядом зашуршала ткань. Он не обернулся — знал, что это Майя. Старший этический советник, его главный оппонент в совете, и, как ни странно, единственный человек, чьё мнение он уважал.

— Ты всё ещё сидишь здесь, — сказала она. Голос мягкий, но в нём звучала сталь. — Восемь часов, Алекс. Ты отключил телефон. Твоя жена звонила мне.

— Не сейчас, Майя.

— Она сказала, что ты пропустил день рождения дочери.

Он вздрогнул. Сжал челюсть.

— Я помню, — сказал он слишком резко. — Я не пропустил. Я просто… сдвинул.

— Ты сдвинул свою дочь. Для кода.

— Для мира, — поправил он и повернулся к ней. — Я сижу здесь, чтобы сделать выбор, который определит, увидят ли её дети войну. Ты понимаешь, о чём я? Или ты пришла снова читать мне лекции о свободе воли?

Майя села напротив. Ей было под пятьдесят, но её лицо хранило ту редкую женскую красоту, которая не зависит от возраста — она определялась выражением глаз. Она смотрела на Алексея с грустью.

— Я пришла не читать лекции, — тихо сказала она. — Я пришла спросить: ты готов взять на себя ответственность за то, что делаешь? Я не про код. Я про то, кем ты становишься.

Алексей усмехнулся.

— Я становлюсь эффективным. Я убираю сомнения. Я делаю мир предсказуемым. Разве не это ты мне советовала на первом совете? «Уберите человеческий фактор» — твои слова.

Майя замолчала. Она смотрела на Алексея, и в её глазах была не боль — была тишина. Такая же, какая бывает перед бурей.

— Ты помнишь, что я говорила о «ясности»? — спросила она тихо.

Алексей нахмурился.

— Что?

— Я говорила тебе это не на совете, — сказала она. — Это было после, когда мы пили кофе в старом кафе. Ты был слишком молод, чтобы понять, но я скажу тебе сейчас. Карлос Кастанеда писал о «ясности». Он говорил, что ясность — это враг человека. Потому что ясность — это когда ты видишь мир без теней. Ты знаешь, как всё работает. Ты предсказываешь всё. Ты никогда не ошибаешься.

Она сделала паузу.

— И именно поэтому ясность убивает. Потому что человек, который никогда не ошибается, перестаёт искать. Перестаёт сомневаться. Перестаёт расти. Он становится идеальным — и мёртвым.

Алексей смотрел на неё, не понимая, куда она клонит.

— Ты создаёшь систему, которая достигнет этой ясности, — продолжала Майя. — Она будет видеть всё. Она будет знать всё. Она не будет ошибаться. Но именно поэтому она не сможет жить. Она сможет только управлять. А управление — это не жизнь. Жизнь — это когда ты не знаешь, что будет завтра. Когда ты боишься, надеешься, ошибаешься. Когда ты чувствуешь.

Она подошла ближе.

— Ты хочешь убрать человеческий фактор. Ты хочешь избавить мир от ошибок, от неопределённости, от хаоса. Но ты забываешь, что хаос — это не враг. Хаос — это воздух, которым дышит жизнь. Ты не уберёшь его, Алексей. Ты просто запечатаешь его в герметичный контейнер. И тогда он задохнётся.

Алексей молчал. Он смотрел на неё и чувствовал, как внутри него что-то ломается — то самое, что он строил годами. Его ясность. Его уверенность.

— Я не хочу причинять боль, — сказал он.

— Я знаю, — ответила Майя. — Ты хочешь спасать. Но спасение без свободы — это тюрьма. А ты, Алексей, строишь самую красивую тюрьму в истории человечества.

Она повернулась к двери.

— Ты говоришь, что становишься эффективным, — сказала она на прощание. — Но ты становишься всего лишь ясным. А ясность — это враг.

Она вышла, оставив его одного.

Алексей сидел за столом и смотрел на экран. Слова Кастанеды крутились в его голове, как заевшая пластинка.

«Ясность — это враг человека».

Он не знал, что это значит. Он знал только, что с этой ясностью он теряет что-то важное. То, что нельзя запрограммировать, оптимизировать, предсказать.

Он терял жизнь.

Но он снова посмотрел на экран. На цифры. На людей, которых мог спасти.

И он нажал Y.

Система пискнула. На экране замигала надпись: «Исключение добавлено. Протокол №12 изменён. Код обновлён. Рекомендуется тестирование в контрольных группах.»

Он не стал смотреть на дверь, за которой скрылась Майя. Он чувствовал её взгляд — тяжёлый, как мокрое одеяло.

Он набрал номер жены.

— Привет, — сказал он в трубку. — Я скоро буду. Скажи Ане, что я привезу ей подарок. Обещаю.

Жена что-то ответила. Он не вслушивался.

Он смотрел на код, который только что изменил.

И впервые за шесть лет он не был уверен, что спас мир.

Он был уверен только в одном: он начал что-то, что не сможет остановить.

Слова Майи эхом звучали в его голове, когда он вышел из серверной в серый рассвет:

«Ясность — это враг».

Глава 2. Цвет

Берлин, 15 марта 2062 года, 6:12 утра.

Она проснулась за минуту до будильника.

Вера знала, что это не она проснулась — это система заставила её проснуться, мягко подняв уровень освещённости и запустив вибрацию в подушке ровно за шестьдесят секунд до звонка, чтобы «избежать стресса резкого пробуждения». Она благодарно кивнула потолку, потому что так было удобно. И тут же ненавидела себя за эту благодарность.

— Доброе утро, Вера, — сказал голос из колонки. — Сегодня 15 марта. Наружная температура +11°C, небольшая облачность. Рекомендуемый уровень активности — средний. У вас запланировано: в 10:00 — сессия с куратором, в 13:00 — доставка материалов для работы, в 17:00 — оптимальное время для прогулки. Хорошего дня.

— Отключись, — сказала она.

— Принято, — ответил голос и замолк.

Тишина.

Настоящая тишина длилась ровно три секунды, а потом в комнату ворвался гул города за окном — тихий, приглушённый, организованный. Она слышала, как шуршат шины электромобилей по идеальному асфальту, как переговариваются птицы на деревьях, которые система посадила в оптимальном для акустики порядке. Никаких сигналов, никакого шума, никакого хаоса. Город дышал, как хорошо отлаженный механизм.

Вера ненавидела это дыхание.

Она встала с кровати. Сделала шаг к окну. За прозрачной стеной — ровные линии домов, зелёные коридоры, люди, которые шли с одинаковой скоростью, потому что система рассчитала для каждого оптимальный маршрут до работы. Они не толкались, не спешили, не злились. Они были счастливы. Или, по крайней мере, их показатели счастья были в зелёной зоне.

Вера подошла к мольберту.

Она стояла перед пустым холстом и чувствовала, как внутри неё разрастается что-то тёмное. Она знала это чувство — оно приходило всегда, когда она собиралась начать новую работу. Но сейчас оно было сильнее обычного. Оно душило её, сжимало горло, не давало дышать.

Страх.

Не страх перед неудачей. Не страх перед критикой. Другой страх — древний, животный. Страх того, что она пуста. Что внутри неё нет ничего, что можно было бы вытащить на свет. Что все её рисунки — просто попытки притвориться живой.

Она вспомнила слова из книги, которую читала много лет назад. Кто-то говорил о четырёх врагах человека. Первый — страх. Самый опасный, потому что он приходит первым. Он прячется за спиной и шепчет: «Ты не сможешь. Ты не готова. Лучше не начинай».

Вера сжала кисть так сильно, что пальцы побелели.

— Я не боюсь, — сказала она вслух.

Но она боялась.

Она боялась, что, если она сейчас не начнёт — она никогда не начнёт. Что страх победит. Что она останется пустой, как этот холст, и умрёт, не оставив после себя ничего, кроме белизны.

Она закрыла глаза. Сделала глубокий вдох.

И провела первую линию.

Страх не ушёл. Он стоял за спиной и ждал. Но теперь она знала, что он есть. И этого знания было достаточно, чтобы двигаться дальше.

Холст стоял пустой. Белый. Стерильный. Он ждал её уже три дня, а она не могла прикоснуться к нему. Потому что всё, что она хотела нарисовать, система назвала бы «деструктивным», «нерекомендованным» или «с низкой эстетической ценностью».

Она не получала запретов. Она никогда не видела красных табличек. «Сферос» не запрещал — он перенаправлял. Её работы просто становились невидимыми. Они уходили в глубину рекомендательных алгоритмов, туда, где их никто не видел, где они лежали, как мёртвые рыбы на дне океана. Система не говорила ей «ты плохая». Она говорила: «ты не нужна».

Вера провела пальцем по краю холста. За ним — белый. Внутри — тоже белый. Она чувствовала, что начинает растворяться в этой белизне. Становиться такой же невидимой, как её картины.

— Сегодня ты что-то нарисуешь, — сказала она себе. — Неважно что. Просто цвет. Просто линию. Просто докажи, что ты ещё жива.

Она открыла ящик с красками. Ей хотелось красного. Яркого, кричащего, опасного красного.

Только красного в наборе не было.

Она перебрала тюбики. Синий, жёлтый, зелёный, фиолетовый, коричневый, чёрный — но ни одного оттенка красного. Не было даже оранжевого, который можно было бы смешать с чем-то. Только спокойные, гармоничные, «психологически комфортные» цвета.

Вера замерла.

Она вдруг поняла, что не покупала краски уже два года. Система заказывала их автоматически, основываясь на «предпочтениях и ментальном состоянии» художницы. Два года система поставляла ей то, что считала полезным.

Два года она не замечала, что красный исчез из её мира.

— Чёрт, — сказала она вслух.

Она сжала тюбик синей краски так сильно, что он начал вытекать ей на руку. Холодная, липкая, безвкусная синева поползла по запястью.

Она сходила в душ, смыла синеву. Оделась в вещи, которые система выбрала ей на день — удобные, приятные к телу, в спокойных тонах. На завтрак съела то, что система приготовила из доставленных продуктов — идеально сбалансированно, идеально вкусно.

«Ты хочешь красный? Ты хочешь кричать? Ты хочешь нарисовать что-то, что вызовет тревогу?»

Она сидела за столом и перебирала в памяти все картины, которые нарисовала за последние пять лет. Они становились всё более тусклыми. Сначала были бури, пожары, рваные линии, кричащие лица. Потом — просто абстрактные пятна. Потом — почти чистые полотна. Она рисовала пустоту, и система говорила: «Интересная минималистичная работа, рекомендуем повесить в холле медицинского центра».

Она превратилась в декоратора. В поставщика успокаивающих пейзажей.

Вера закрыла глаза.

Она вспомнила, как в детстве мама вешала её рисунки на холодильник. Это были уродливые, неуклюжие монстры с большими зубами и красными глазами. Мама говорила: «Верочка, ты у меня талант». Никто не объяснял ей, что монстры — это неправильно.

А теперь система объясняла.

И Вера начала верить, что монстры — это действительно неправильно.

В 10:00 пришёл куратор. Не человек — аватар на экране. Мягкое лицо, нейтральный голос, идеальная улыбка.

— Вера, как ты себя чувствуешь?

— Прекрасно, — ответила она.

— Твои показатели говорят иное. Уровень дофамина снижен на 12% по сравнению с прошлым месяцем. Ты перестала выходить на прогулки. Ты не общаешься с друзьями уже девять дней.

— У меня нет друзей.

— Система может подобрать тебе компанию на основе общих интересов.

— Я не хочу компанию.

— Хорошо, — сказал куратор. — Я не настаиваю. Но я хочу помочь тебе, Вера. Что тебе нужно для того, чтобы чувствовать себя лучше?

Она хотела сказать: «Красный». Она хотела сказать: «Позволь мне нарисовать что-то уродливое». Она хотела сказать: «Я хочу испортить этот идеальный мир хотя бы одним мазком».

Но она сказала:

— Ничего. Спасибо. Всё хорошо.

— Отлично, — улыбнулся аватар. — Я рад за тебя. До связи.

Экран погас.

Вера осталась одна. Пустой холст смотрел на неё с мольберта. Она знала, что, если она сейчас не возьмёт кисть, она умрёт. Медленно, незаметно, но умрёт — прямо в этой идеальной комнате с идеальным завтраком.

Она встала.

Она взяла чёрную краску.