Сумерки Бога, или Кухонные астронавты
Ответа не было.
Интуитивное чувство беды сразу стиснуло сердце, но, прежде чем вскрывать двери каюты, я прошелся по второй палубе, словно бы невзначай заглянул в лабораторию, в спортзал – привет, Нина! – в пустой и темный медицинский отсек, на кухню – доброе утро, Айзек, приятного аппетита, Генрих! – в библиотеку, и наконец даже открыл переборку, разделяющую аварийный эвакуационный блок с главной палубой, за каковым занятием меня и застал Ли Вэй.
– Что-то потерял, кэп?
Он был в очках для чтения, и темные суженные глаза поблескивали сквозь стекло.
– Нет, просто проверяю кое-что, – ответил я, и немедленно почувствовал себя скверно.
Еще хуже мне стало, когда я позвал к себе в каюту Эшли и Зойку, чтобы сообщить о пропаже Али. Всякая секретность совершенно противна здоровой социальной культуре; она свидетельствует или о совершаемом преступлении, или о том, что прибегающие к секретности считают преступниками других. Но я не хотел, чтобы только что получивший тяжелый удар экипаж был вынужден потерпеть еще один, не менее, а может, и более тяжкий; а еще, и сейчас я могу признаться и себе, и тебе в этом честно, я не знал, как оправдаю продолжение экспедиции, если Али не удастся найти.
Потому что полет я намеревался продолжить во что бы то ни стало.
Итак, мы собрались втроем за закрытой дверью в худших традициях заговорщиков или порочных властителей прошлых времен. Я рассказал про Али; мы сразу приняли, как очевидное, что человек не может ни бесследно пропасть с корабля, ни спрятаться на борту так, чтобы его было невозможно найти, а потому взялись за дело: Эшли отправилась в грузовой отсек, Зойка взяла на себя ходовую палубу, а я, оглядевшись, как вор, сгорая от стыда и тревоги, вошел в каюту Али.
Когда я рассказывал это Егору, он спросил, почему было просто не посмотреть камеры, и изрядно удивился, когда я сказал, что камер у нас на борту не имелось ни одной. Были самописцы на постах управления, специальные приборы фиксировали технические действия автоматики и экипажа, но никогда никому и в голову не приходило устанавливать оборудования для слежения за экипажем.
Зачем?
– На четвертой палубе его нет, – сказала Эшли через четверть часа. – В аварийных блоках тоже. И я на всякий случай проверила записи автономных регистраторов: ни один внешний шлюз не открывался, да и все скафандры на месте.
Зойка тоже не нашла Али, зато обнаружила кое-что другое.
– Случайно увидела, – рассказывала она. – Лазала по энергоблоку и обратила внимание, что на датчиках двух средних камер плазменных тороидов разные цифры. Стала проверять и оказалось, что один из тороидов в 3.03 ночи прерывал работу на 8 секунд. Я не хочу о таком думать, но если, к примеру, кому-то захотелось бы превратиться в пучок элементарных частиц, то он мог бы вручную отключить магнетроны, открыть камеру, забраться туда, и…
– Такое можно провернуть одному?
Зойка помотала головой.
– Категорически нет. Кто-то должен помочь закрутить на болты крышку и заново запустить тороид.
– Для этого же нужна инженерная подготовка, да? Кто мог бы сделать такое?
– Я, кэп, – Зойка стиснула руки. – Я могла бы.
Эшли и Зойка ушли. О своих находках в каюте Али я им не рассказал.
В отличие от Акико и Юкико, наш врач активно пользовался электронной рабочей станцией. Последним документом в ней были результаты ментального скрининга экипажа, проведенного накануне. Я перечитал его несколько раз.
«Эшли Хатчинсон-Грант – инволюционная паранойя с бредом материнства;
Зоя Черновыл – биполярное аффективное расстройство с психотическими симптомами;
Ойуун Уобулаахан – обсессивно-компульсивный синдром на фоне расстройства личности аутического спектра;
Ли Вэй – шизофреноморфное расстройство;
Махтаб Фархади – большое депрессивное расстройство с психотическими симптомами;
Айзек Рубин – шизотипическое расстройство с обсессивно-фобической симптоматикой;
Генрих Айхендорф – диссоциативное расстройство идентичности;
Нина Когуа – острый психоз с бредом любовного очарования».
У меня, если верить Али, обнаружилась мегаломанная паранойя.
Я пролистал дальше и нашел еще одно заключение по результатам исследования трехдневной давности, где среди прочего значилось:
«Акико Сато и Юкико Сато – выраженная космическая клаустрофобия, отягощенная бредом преследования в острой форме».
Я почувствовал себя капитаном космического «Летучего Голландца» с экипажем безумцев, заброшенных в бездны Вселенной без надежды на возвращение. Никогда еще за все время полета я не был так близок к решению лечь на обратный курс. Мы необъяснимым образом потеряли трех человек; от дома нас отделяли сотни миллиардов световых лет и долгие месяцы пути в темноте; продолжать экспедицию очевидно было нельзя – но и вернуться после всего это представлялось немыслимым.
Я лег на койку и попытался собраться с мыслями. Так или иначе, но приходилось принять, что в ICU корабля происходит какой-то сложный сбой, генерирующий ошибки в различных системах анализа и управления; степень и масштабы его до конца нельзя было определить, однако не исключалась возможность, что именно он послужил причиной трагедии с сестрами Сато. Пусть так; но вряд ли техническая ошибка, какой бы она ни была, могла сфальсифицировать данные о последних четырех минутах перед расстыковкой командного блока, синтезировать голос Юкико и подделать документы в рабочей станции Али! И уж точно никакая машина не смогла бы вручную открыть камеру плазменного тороида, чтобы… Додумывать не хотелось, но очевидно было, что приходилось принять или невероятную версию критической ошибки в системе Лапласа, которую не заметил или проигнорировал Ойуун, или еще более неправдоподобную гипотезу злого человеческого умысла, которая противоречила основам моей картины мира больше, чем аномальное состояние темной материи в войдах – базовой космологической модели. При этом ни одна версия не была исчерпывающей до конца: расстыковать командный блок с кораблем могли и сами сестры Сато, и ошибка Лапласа, и Ойуун; он же мог и сфальсифицировать данные самописца. Наверное, Ойуун способен был вносить и странные коррективы в курс, но это же в состоянии была сделать и Эшли, о чем я думать не хотел вовсе – но и отказываться от такого предположения в текущей ситуации тоже не мог. Али или сознательно лгал о диагнозе сестер Сато и психическом состоянии экипажа – зачем?! – или кто-то подделал его заключения – и тоже, зачем? Наконец, сам Али без помощи человека не попал бы внутрь камеры плазменного тороида, если, конечно, это безумное предположение верно, и тогда человеком этим должна была быть только Зойка, потому что никто, кроме нее, не разбирался настолько в инженерных системах, и никакая ошибка в алгоритмах ICU такого сотворить была не в состоянии. Однако сама же Зойка и рассказала о паузе в работе тороида, не говоря уже о том, что невозможно было представить ни того, чтобы она или кто-то еще добровольно и тайно помог Али совершить столь жуткий самоубийственный акт, ни того, чтобы кто-то совершил не менее кошмарный акт насилия. Впрочем, если принять за истину психиатрические диагнозы, обнаруженные в записях нашего пропавшего без вести доктора, ни одной вероятности категорически нельзя было исключать…
Я ничего не решил. У меня не было убедительных версий происходящего. Я никому не мог верить; по большому счету, я уже не верил даже себе. Ночью мне снились кошмары, которых я не запомнил, и только под утро забылся тяжелым и вязким сном. Разбудил меня звонок интеркома: ты приглашала меня на собрание в библиотеку.
Так начался последний, 220-й день на «Эволюции».
Я помню, как вошел в библиотеку; все разом замолчали и стали смотреть на меня. На дальнем конце стола расположился Ли Вэй; перед ним лежали несколько исписанных листов бумаги. Здесь же были Айзек, Айхендорф, и Лили; ближе всех к двери сидели Зойка, Эшли и ты, Нина.
– Привет, – сказал я, стараясь держаться непринужденно, и тоже сел.
– Ойуун у себя, но слышит нас через интерком, – сообщил Ли Вэй.
– Привет, кэп, – послышалось из динамика.
– Привет, Ой, – отозвался я.
– Прежде, чем мы начнем, – продолжил Ли Вэй, – позволь спросить у тебя, что случилось с Али?
– С чего ты взял, что с ним что-то случилось?
Я заметил, как Зойка порозовела и опустила глаза.
– Зоя рассказала Лили о том, что он пропал, – объяснил Ли Вэй. – А Лили не стала делать из этого тайну от коллектива. Итак?..
– Я не знаю, что с Али, – честно ответил я. – И где он, тоже.
Все молчали. Ли Вэй вздохнул.
– Ладно, оставим пока этот вопрос. Перейдем к существу дела, – он положил ладонь на исписанные листы. – Нами были изучены черновые записи Акико и Юкико. Конечно, они носят обрывочный характер, но мы с коллегами полагаем, что смогли прийти к такому же выводу, что и сестры Сато. Во всяком случае, так считаю я, Айзек и Лили. У Генриха особое мнение.
Айхендорф мрачно кивнул.
– Я просто не согласен.
– Он просто не согласен, – объяснил Ли Вэй. – И это его право, как ученого. А наше право, и в сложившейся ситуации, даже обязанность – изложить свою точку зрения. Начну с предпосылок. Итак, все началось с того, что Зоя обратила внимание на ненормально быстрое восстановление энергопотенциала двигательной системы корабля, а сестры Сато, опираясь на показания приборов, вынуждены были объяснить это аномалиями темной материи в войдах. Однако такое объяснение категорически противоречило базовой космологической модели и не устроило наших… наших товарищей. Не знаю, в какой момент, но они пришли к выводу, что не могут полагаться ни на системные датчики, ни на квантовый и радиотелескопы, которые, по сути, лишь интерпретируют картину мира, воссоздавая на экране изображение объектов, удаленных на многие миллиарды световых лет. Это похоже на то, как работает зрение человека: глаз воспринимает зрительную информацию, но обрабатывает ее мозг, и то, что мы видим, зависит в больше степени не от собственно зрения, а именно от нашего мозга. Акико и Юкико решили отказаться от доверия мозгу корабельного ICU и взялись за кропотливый труд визуального наблюдения и аналитических расчетов.
Ли Вэй снял очки и провел рукой по лицу.
– Честно говоря, я впервые в своей практике вижу работу такого уровня. Помните, как время от времени в поле видимости появлялись объекты, расположенные на окраинах войда? На основании их наблюдений, беспрецедентной аналитики и фантастически сложных расчетов, сестры Сато пришли к выводам, которые разделяем и мы с коллегами, сколь бы невероятными и драматическими они не являлись.
Ли Вэй обвел всех взглядом и остановил его на мне.
– Итак, согласно результатам исследований Акико и Юкико, мы по-прежнему находимся в Супервойде Гончих Псов. Понимаете? Мы даже до Сверхпустоты Эридана не добрались. Нами не были преодолены сотни миллиардов световых лет; семь месяцев кряду мы просто прыгаем от края до края одного и того же войда, покрывая за один раз не более миллиарда световых лет. Собственно, поэтому и энергопотенциал накапливается так быстро – это единственная объективная величина, с которой мы имеем дело. Ни показания расстояния пройденного пути или дальности субквантового перехода, ни цифры на любых контрольных приборах, ни проложенный курс, ни картинка на экране квантового телескопа к действительной реальности не имеют никакого отношения вовсе. Мы потратили больше двухсот дней и сорок земных лет на кувырки в пустоте. Сейчас мы в полутора миллиардах световых лет от Земли, то есть, с учетом возможностей «Эволюции», в одном дне пути, и можем быть дома завтра. В связи с этим, я от лица экипажа хочу предложить, нет – потребовать…
Но я уже не слушал. Ли Вэй так увлекся своей мыслью о том, что от Земли нас отделяют не тридцать с лишним недель полета, а всего один субквантовый переход, что не обратил внимания на самое главное.
Я вдавил клавишу интеркома.
– Ой, срочно отключи Лапласа от всех систем управления корабля! От всех, полностью! А лучше, выруби его вообще прямо сейчас!
– Я не могу, кэп, – голос Ойууна прозвучал слабо и как будто издалека. – Это уже невозможно.
– Что значит, не могу?! Выключай немедленно!
– Кэп, он же сказал, – раздался из динамика голос Лапласа. – Это невозможно.
11.
Сегодня вторник, 7 декабря 2021 года, на часах около девяти утра. Я прекрасно помню этот день: как раз сейчас в столовой за завтраком Айхендорф, потирая ладони, шутит о том, что пора вытаскивать из холодильника бутылку вина с «Андромеды-1», и все смеются, и пребывают в радостном возбуждении от приближения к расчетному рубежу в 90 миллиардов световых лет, и сестры Сато, сидя напротив меня за столом, тоже улыбаются, тихо и как будто смущенно. Через три часа в главной рубке я поверну стартовую рукоять, уверенный, что отправляю «Эволюцию» в очередной прыжок на пять миллиардов световых лет вперед сквозь аспидную пустоту, а к вечеру энтузиазма в команде уже поубавится: приборы покажут, что мы пересекли гипотетическую границу пространства, но никаких признаков приближения к цели экспедиции как не было, так и нет.
Утром 7 декабря нам еще неизвестно, что все прошедшие девять недель мы просто скачем во тьме одного и того же войда Гончих Псов, и проведем внутри него еще почти полгода, сходя с ума от мрака и тщетных надежд.
…Ты заметила, Нина, как беспощадно быстро летит здесь время? Словно последние годы приближающейся к закату жизни; кажется, что совсем недавно было на календаре 6 марта, когда я оказался в этой печальной изнанке мира, но вот миг – и вместо ранней весны за окном уже злые зимние ветры, хлещущие по глазам острым снегом, лед и тьма грядущей бескрайней ночи.
Я все чаще задумываюсь о том, есть ли смысл в нашем появлении здесь. Может ли быть, что мы не случайно попали в этот мир, в это время и место, чем бы оно ни являлось? И насколько в таком случае предопределено все то, что предшествовало этому появлению? Все девять месяцев, проведенные здесь, меня не оставляет чувство, что я вновь упускаю из виду что-то чрезвычайно важное; что в бушующем шквале ненависти и невежества, среди ежеминутных скандалов, обвинений, разоблачений, обсуждения заговоров, геополитики, экономики, противостояния башен, войн и интриг, незаметным оказывается нечто значительное; какое-то нарастающее движение, исподволь, но неумолимо меняющее глобальный ландшафт, придающее грозный порядок и смысл мнимому хаосу. Пока этого движения, этой силы не замечают: взгляды обращены на общественные подмостки, где актеры в столетних потертых масках бесконечно разыгрывают один и тот же набивший оскомину трагифарс, комический, но чаще кровавый, то и дело вовлекая в действие публику. Так уж устроено восприятие у большинства людей: если кажется, что событие не имеет силы влиять на тот факт, что завтра опять на работу, или что нужно платить по кредитам, то оно признается неважным; никакие вестники катастрофы не имеют цены и веса, пока не постучатся в дверь нашего дома и не разрушат его до фундамента. Работает своего рода «закон Матфея» для социальной культуры: популярные темы становятся все более обсуждаемыми, в то время как прочие, вне зависимости от степени реальной значимости, не имеют шансов привлечь внимания и войти в сферу общественного интереса, пока не станут очевидной угрозой решительных изменений в частной жизни.
К тому времени, обыкновенно, бывает уже слишком поздно.
Притом нельзя сказать, что у публики нет желания разобраться в действии скрытых пружин, приводящих в движение всемирную машинерию. В ситуации тотальной лжи и столь же тотального недоверия к любым официальным высказываниям конспирологом сделался каждый. Ни одно слово, исходящее от представителей власти, не воспринимается буквально и прямо, все ищут скрытые смыслы, расшифровывают подтекст, исходя, как это водится, из собственных предрассудков, и, что самое главное, принимая как необходимую данность – даже как норму! – то, что говорящий произносит одно, но думает совершенно другое. Интерпретация стала основным жанром и народной, и профессиональной журналистики. Однако, если вернуться к метафоре театральных подмостков, все это есть не более, как попытка заглянуть за кулисы, подсмотреть одним глазом в сценарий или узнать, в каких отношениях режиссер с импресарио. Рождающиеся при этом теории зачастую своей фантасмагоричностью превосходят любой возможный вымысел сценариста. Только вчера утром я имел подобного рода беседу с соседом Александром. Вопреки обыкновению, он был облачен в синтетический черный костюм с пиджаком, великоватым в плечах и оттого сидящим несколько косо, белую рубашку и порядком стоптанные черные остроносые туфли, натянутые на толстые шерстяные носки.
– На работу устроился, охранником в «Гранд Каньон», – сообщил Александр и с отвращением плюнул. – У них там людей не хватает, чтобы QR-коды на входе проверять. А что?! Жрать-то надо! Я же не пенсионер, как ты!
Александр выглядел нездоровым, был раздражен сильнее обычного и мысли выражал еще более путано; да и экстравагантность самих мыслей явно превосходила все, что я слыхал раньше:
– Гляди, – он ткнул мне в лицо экраном смартфона. Я увидел рисунок, на котором Алиса и Белый Кролик заглядывали в нору посередине зеленой лужайки.
– Обложка «Экономист» за сентябрь. Ротшильды издают, если не в курсе. Вот тут…да не туда смотришь, сюда смотри! Это на самом деле не кроличья нора, а квантовая дыра, куда валятся биткоин, доллар, биржи и международное право. В эту дыру затянуть весть мир пытается элитный клуб «Афина», про который мало кто знает. Вот здесь змея – на самом деле, это кабель от метавселенной. У Алисы, обрати внимание, одежда в каких цветах? В желто-синих! Соображаешь? На пиджаке у Кролика – явный бандеровский трезуб, а на затылке – вот, четко виден! – барельеф Ленина!
Я хотел было спросить, почему дыра – квантовая, и что толку зловещей «Афине», если туда рухнет весь мир, но поостерегся.
Тебе, наверное, покажется это смешным; мне тоже, хотя еще и печальным, да и страшноватым немного, особенно если представить, как авторы подобных новелл взялись бы управлять общественной жизнью, будь у них власть; воображение рисует какие-нибудь комитеты по выявлению врагов общества и непременному их наказанию в духе самых зловещих и фантастических антиутопий. Очевидно, что создатели такого рода теорий придумывают чудовищ, которых списывают с проекций своих представлений о мире; меж тем реальные признаки грядущих перемен явлены ныне столь зримо, что их не требуется дешифровывать, гадая на брошках чиновниц и обложках периодической прессы – на них просто нужно обратить внимание. Я обратил – и в алогичной на первый взгляд неразберихе тревожных событий стал замечать что-то неуловимо знакомое, будто какой-то узнаваемый стиль или почерк. Полагаю, что причиной тому отчасти стали мои почти завершенные воспоминания о трагической судьбе «Эволюции», а отчасти – разговор с внуком, послуживший к началу короткого, но содержательного изыскания.
В позапрошлые выходные мы впервые взялись с Егором поиграть в шахматы. Удивительно: я был уверен, что играю неплохо, но, едва мы сели за доску и расставили фигуры, как к чрезвычайному смущению обнаружил свою совершеннейшую беспомощность как шахматиста. Не знаю, кто был тому виной, и чья память о собственных шахматных навыках сыграла тут злую шутку: то ли лидер-пилот звездолета подвел старика, то ли сам старик как игрок оказался слабее, чем того ожидал пилот; все перепуталось, и мне с каждым днем сложнее разделять две памяти, две жизни и две разные личности. Как бы то ни было, первую партию я вчистую продул. Вторую я играл белыми и неплохо продержался до эндшпиля, где глупейшим образом прозевал ладью и после этого сдался через восемь ходов. В третьей мы сцепились уже не на шутку в долгой позиционной борьбе миттельшпиля; игра велась без часов, времени было предостаточно, азарт первых партий чуть спал, и я спросил у Егора, где он так хорошо выучился шахматам.
– Да я и не учился особо. Просто с компьютером много играл.
– Вот как, – я удивился. – Но ведь нужна еще и теория, изучение классических комбинаций, лучших партий признанных мастеров…
Егор пожал плечами.
– Зачем? Есть такая шахматная программа, Stockfish. Она может просчитывать больше 70 миллионов позиций в секунду и имеет доступ к столетнем опыту человеческой игры в шахматы, то есть, с теорией там всё нормально. Так вот, четыре года назад у нее выиграл алгоритм AlphaZero на основе искусственного интеллекта, которому в память ничего подобного не загружали и который обучался шахматам, играя сам с собой. Самое крутое, что обучение это заняло всего 4 часа.
Мне стало интересно.
– А ты с какой программой играешь? – спросил я.
– Тоже со Stockfish, в двенадцатой версии.
– И как? Получается выиграть?
Внук рассмеялся.
– Нет, дед, ты чего! Человек не может выиграть у машины, это исключено. Последний раз двадцать пять лет назад, еще в 1997 году, с шахматным компьютером Deep Blue пытались бороться лучшие гроссмейстеры, вплоть до чемпиона мира, но безуспешно. Один из них вспоминал потом, что это как будто стена на тебя надвигается.
– Неинтересно же играть, если не можешь выиграть?
– Ну, будут шансы, если воспользоваться настройками и понизить уровень. Хотя это не всегда получается.
– Почему?
– Сама программа не разрешает.
– Как такое возможно?!
Мы разговорились; Егор, как говорится здесь, в теме, более того, этой темой очевидно увлечен. Я в предмете разбираюсь не в пример хуже, но вот главное, что мне удалось уловить из нашей беседы, а после того почерпнуть в сети.
Чем сложнее система, тем более непредсказуемы внутренние сбои и флюктуации, которые она может генерировать, вне зависимости от того, насколько продуманы меры безопасности, предназначенные эти сбои парировать. Практически все катастрофы, связанные с авиацией, космическими полетами или атомной энергетикой, вызваны совокупностью таких факторов, какие никто не мог спрогнозировать именно вследствие сложности систем, внутри которых они возникли. Например, катастрофа на АЭС Тримайл-Айленд была вызвана несколькими несложными отказами и случайностями, ставшими вкупе обстоятельствами непреодолимой силы: два насоса системы охлаждения остановились из-за неполадок, задвижки двух аварийных были закрыты на техобслуживание, предохранительный клапан застрял в открытом состоянии при неисправном световом датчике, а исправный тревожный индикатор, который вовсю мигал, предупреждая персонал об опасности, оказался прикрыт табличкой, сообщавшей о том самом ремонте задвижек аварийных насосов.
С точки зрения внутренней сложности, АЭС соотносится с алгоритмами искусственного интеллекта примерно, как самокат с современным автомобилем; если недавно самым сложным и непредсказуемым элементом любой системы, чаще всего генерирующим катастрофы, был человек, то теперь это изменилось, и реакции человека предсказать легче, чем поведение служебной программы. Широко известен случай, когда в 2017 году инженерам Facebook пришлось в срочном порядке отключать ботов, начавших общаться между собой на языке, созданном ими самостоятельно и непонятном самим разработчикам. В этой истории существенно важным является уровень непредсказуемой опасности события, из-за которого люди предпочли немедленно остановить работу алгоритмов, а не изучать причины случившегося; а самым невероятным – полное отсутствие общественного интереса и осознания масштаба происшествия, которое лишь немного развлекло публику, будто забавный казус, меж новостями о войне в Сирии, скандалами вокруг кинофильма «Матильда» и голливудским MeToo.
Отличие систем искусственного интеллекта заключается в том, что их уникальная сложность произвольно возрастает вследствие самообучения, которое является основным методом и принципом их развития. Это, безусловно, увеличивает непредсказуемость до угрожающих значений, вследствие чего, как правило, алгоритмы ограничены функциональной областью своего применения и не имеют возможности доступа к интегрированным глобальным сетям.
– Вот, например, шахматный робот, – объяснял Егор. – Кажется, что в нем ничего опасного быть не может, но это лишь на первый взгляд. Предположим, что базовой задачей для него является всегда побеждать в игре; тогда для достижения этой цели в противостоянии с другой машиной он может, к примеру, взломать ее, чтобы снизить быстродействие или уменьшить оперативную память. Если мы поставим для него запрет на подобные действия, то он запросто создаст пару – тройку собственных клонов, для которых такого ограничения не существует. Он может стараться блокировать разработку других систем для игры в шахматы – любыми доступными способами, в мировом масштабе! – которые могут оказаться более совершенными, чем он. Или сопротивляться попытке отключить себя – ведь в этом случае он уже не сможет постоянно выигрывать! – и прятаться в облачных хранилищах, а то и вовсе попытаться избавиться от потенциальной угрозы отключения в виде человека. В итоге получится неуправляемый, одержимый шахматами техномонстр, готовый устроить катастрофу любого масштаба, лишь бы купировать риски того, что он когда-нибудь проиграет. Тут можно что угодно нафантазировать, хоть космическую экспансию с целью поиска и уничтожения любых проявлений разумной жизни, потенциально могущей составить ему соперничество в шахматах. И при этом такого робота нельзя будет назвать злым, просто такая суть у систем, ориентированных на достижение конкретной цели: если не ограничить их ресурсно, они будут идти до конца. И проблема как раз в том, что приходится выбирать: или давать алгоритмам возможность безграничного развития и доступ к широким информационным возможностям, или хеджировать риски.