Сумерки Бога, или Кухонные астронавты

Мы допили чай; Егор великодушно предложил мне ничью и ушел.

Я же отправился на охоту за тенью.

Высокие технологии – не моя предметная область; я был знаком с ней лишь постольку, поскольку это требовалось для понимания принципов работы бортовых навигационных систем. Эшли точно разобралась бы в вопросе получше, не говоря уже про несчастного Ойууна; мне же остается только обратить внимание на наиболее выразительные маркеры, которые послужили основой моих дальнейших умозаключений.

Я встретил поразительное сравнение, впервые примененное для наглядной иллюстрации скорости и уровня развития информационных технологий еще в 1985 году. Тогда индийский ученый Амар Гупта написал, что, если бы «авиастроительная промышленность за последние 25 лет развивалась так же стремительно, как компьютерная индустрия, Боинг 767 стоил бы 500 долларов, и облетел бы земной шар за 20 минут на 5 галлонах топлива». Сегодняшние исследователи, используя тот же сравнительный ряд, говорят, что, если бы авиастроительная промышленность за последние 75 лет развивалась так же стремительно, как компьютерная индустрия, Боинг 787 сегодня стоил бы дешевле коробка спичек, и облетал бы земной шар менее чем за 1 секунду, затратив менее 1 грамма топлива. Без малого сорок лет технологического развития сделали невероятное сравнение абсолютно фантастическим! Но при этом и совершенно оправданным: возможности моего домашнего ноутбука, например, в квадриллион раз превышают вычислительную мощность легендарного суперкомпьютера IBM 7090 образца 1985 года. Если же сравнить с IBM 7090 современный экзафлопсный компьютер, выполняющий квинтиллион операций в секунду, то разница будет примерно такой же, как между мощностью здешних ракет, кое-как волокущих две тонны груза на орбиту, и тягой маршевого гравитационного двигателя «Эволюции», разгоняющего сто тысяч тонн до световых скоростей.

Честно говоря, и без всяких сравнений квинтиллиона операций в секунду довольно, чтобы поразить воображение. Это примерно столько, сколько звезд в двух миллиардах галактик или километров в тысяче световых лет.

Такая производительность стала возможна благодаря использованию технологий искусственного интеллекта: он сам переписывает и совершенствует собственную программу, в первую очередь инструкции, повышающие его способность к усвоению знаний, решению задач и принятию решений, отлаживает код, отыскивает и исправляет ошибки, а также постоянно измеряет свой текущий IQ с помощью тестов. На создание каждого нового варианта программы уходит всего несколько минут, а иногда и секунд.

С точки зрения восприятия обществом у высоких технологий та же беда, что и у передовой науки. Как совершенно неочевидно влияние на реальную жизнь человека теории струн, так, к примеру, и создание в недавнем времени намагниченного белка, способного управлять нейронами мозга на расстоянии, тоже не претендует на то, чтобы возглавить шорт-лист популярных для обсуждения тем, хотя и может дать конспирологам повод к изобретению пару-тройки жутких новелл. Однако только странной ментальной слепотой можно объяснить то, что вне общественного внимания находятся совершенно практические и прикладные аспекты сегодняшнего использования искусственного интеллекта: того, например, что почти 80 % сделок по ценным бумагам на мировых биржах совершается алгоритмами; что не менее 40 % новостных агрегаторов используют технологии машинного разума для формирования актуальной повестки; что программы уже пишут тексты рекламных объявлений и репортерских заметок, которые невозможно отличить от тех, автором которых является человек. Компьютеры без участия человека автономно поддерживают критически важную транспортную инфраструктуру, системы снабжения электричеством и водой всех крупнейших городов мира. Создана и функционирует единая модель понимания всей человеческой речи на 128 языках, которая обучалась на материале почти миллиона часов записи реальных разговоров и использует 2 миллиарда параметров для различения смыслов, в том числе таких специфических, как ирония и сарказм. Это открывает возможность свободного общения между человеком и машиной в любых средах, включая виртуальную вселенную, практическое создание которой – дело буквально дня завтрашнего после того, как недавно лаборатория Purple Mountain сообщила, что достигнут мировой рекорд скорости передачи данных 6G в терагерцовом диапазоне – до 200 гбит/сек. В сравнении с сегодняшними стандартами – как если бы «Сапсан» доезжал из Петербурга в Москву не за 4 часа, а за 7 секунд. В зависимости от взглядов на жизнь, обыватель может воспринять такую новость, или как повод сжать покрепче топор, чтобы рубить установленные на крыше пятиэтажек антенны связи нового поколения, покушающиеся на его девственный мозг, или обрадоваться тому, что фильмы в ультимативно высоком качестве будут скачиваться быстрее, чем он успеет моргнуть. Но в реальности этот сумасшедший скачок скорости связи значит куда больше; это практические возможности реализации технологии ультра-умного города с полной автоматизацией всего движущегося транспорта и инфраструктуры; многомерной реальности и интернета чувств с передачей вкусов и запахов; телемедицины на основе тактильной связи; голографической коммуникации; наконец, полное объединение физической и цифровой реальности, в которой могут функционировать десятки миллиардов людей и умных устройств.

Очевидно, что политическое лидерство – главная цель традиционного государства! – сегодня определяется уровнем развития именно информационных технологий, которые обеспечивают превосходство и в экономике, и в военном деле, и в дипломатии, позволяя анализировать сложнейшие политические ситуации и предлагая решения, загоняющие противников в управленческие тупики. Исследования в сфере искусственного интеллекта идут не параллельно политике и экономике – они определяют и политику, и экономику. Только в традиционной архаической культуре существует еще представление о ценности территорий, и только варвары могут вести за них войны, радуясь, что ценой сотен тысяч человеческих жизней исхитрились прирезать себе еще один кусок бесполезной земли. Сегодня борьба идет за преимущество в технологиях, и эта свирепая драка за цифровой нож в политической и военной грязи была предсказана еще в 2005 году Хьюго де Гарисом в книге «Война артилектов», где он пишет о конфликтах будущего, вызванных изобретениями в сфере информации и алгоритмов.

Проблема только в том, что никто не знает, как эти алгоритмы работают.

Известно понятие технологической сингулярности, введенное в обиход Рэймондом Курцвейлом, которое означает такой уровень развития технологий, при котором они станут непостижимо сложными для понимания человеком. Я бы добавил, непостижимыми для понимания всеми людьми без исключения, в том числе учеными и изобретателями уровня Курцвейла, ибо для обывателя такая сингулярность уже наступила. Сколько человек могут внятно объяснить, как работает их смартфон? Но это еще полбеды; тревожнее то, что в области развития искусственного интеллекта эта сингулярность фактически настала и для специалистов.

Как я уже говорил, система алгоритмов способна к самообучению и совершенствованию, постепенно развиваясь до уровня, недоступному человеку; собственно, казус с ботами Facеbook, заговорившими на своем языке, это частный случай того, что происходит в процессе такого развития. Я прочел о том, как так называемые генетические алгоритмы в ходе работы над тестовыми инженерными задачами изобрели преобразователь напряжения, работавший точнее, чем схема, созданная человеком по тем же спецификациям, при этом – что важно! – никто не мог объяснить, как именно их схема работает, и почему она работает лучше. При генетическом эволюционном программировании код программы логически нечитаем; инженеры не могут ни воспроизвести его, ни понять путь, двигаясь по которому, программа получила конечный результат.

В конечном итоге, люди обменивают понимание процесса на его результативный итог.

Философ Джон Сёрль описал такой феномен через метафору «китайской комнаты». Вкратце ее суть такова: в закрытом наглухо помещении сидит человек, в распоряжении которого множество словарей китайского языка и карточек с иероглифами; в двери комнаты есть отверстие, через которое желающие получить перевод на китайский передают свои тексты. Человек в комнате, предположительно, пользуется словарями и карточками, после чего выдает свой перевод. Смысл в том, что пользователь не знает, владеет ли переводчик в комнате китайским языком или пользуется словарями и карточками; более того, ему это и не важно – ведь он получил результат. Но тут возникает еще одна проблема: если пользователь сам не владеет китайским, то почем ему знать, выдали ему перевод, или просто набор похожих на иероглифы замысловатых каракуль? А если это все-таки перевод, то насколько он хорош?

Расчеты и выводы, сделанные алгоритмами, принципиально непроверяемы. Собственно, для того и нужен искусственный интеллект, чтобы обрабатывать недоступные человеку объемы информации, за минуты делать расчеты, на которые у людей ушли бы тысячи лет, и выдавать результаты, которые в силу вышесказанного не могут быть достигнуты людьми. Одержимый контролем старорежимный начальник может взять отчет подчиненного, да и пересчитать выборочно несколько цифр – дело пустяковое, десять минут на калькуляторе. Проверить вручную правильность формул и макросов в электронной таблице на несколько тысяч ячеек сложнее, но в принципе тоже возможно. Проделать подобный номер с выводами, сделанными на основе расчетов миллиардов опосредованно связанных данных, невозможно. Такие выводы принимаются только на веру, подкрепленную прежними положительными результатами. Хорошо, если они касаются рабочих характеристик экспериментального преобразователя напряжения. А если авиационных двигателей? Политических решений? Общественного здоровья?

И вот еще два реальных примера практических технологий дня сегодняшнего. Первое: во всемирно известном исследовательском центре Allen Institute for Artificial Intelligence создали унифицированную модель искусственного интеллекта Ask Delphi, способного отвечать на вопросы, требующие этических оценок. Он понимает – или считается, что понимает – моральные нормы, способен воспринимать описание реальных ситуаций на естественном языке, рассуждать на основе здравого смысла и, что самое главное, выносить этические суждения, учитывая взаимосвязь между конкурирующими ценностями в разных контекстах. Проще говоря, Delphi может обоснованно решить, хороший вы человек или так себе.

И второе: в Китае судей обязали консультироваться с искусственным интеллектом по каждому делу и давать письменное объяснение в том случае, если они решат отклониться от его рекомендаций. Система, управляемая самосовершенствующимися алгоритмами на основе машинного обучения, автоматически проверяет судебные дела и при необходимости изменяет приговоры, которые считает неправильными.

Таким образом, уже сегодня управление ключевыми элементами человеческой цивилизации в значительной степени передано, и будет, без сомнения, передаваться все больше, технологическим системам, принципы работы которых непостижимы для человека, а правильность выводов и рекомендаций возможно проверить только в процессе практической реализации. Более того, такие системы являются драйвером социальной эволюции человечества, а процесс развития самих систем носит экспоненциальный характер и фактически не может быть остановлен. Об этом очень точно сказал Вернор Виндж:

«Даже если бы все правительства мира осознали угрозу и смертельно ее испугались, прогресс в этом направлении продолжался бы. Более того, конкурентное преимущество – экономическое, военное, даже художественное – каждого нового достижения автоматизации настолько наглядно, что принятие законов или установление традиций, запрещающих подобные вещи, попросту гарантирует, что это сделает кто-то другой».

Человечество как будто бы оседлало неуправляемый летательный аппарат и мчится на нем все быстрее в полную неизвестность, восторгаясь дивными пейзажами по пути и пренебрегая экзистенциальной опасностью с легкомыслием подростков, зацепившихся за крышу скоростного экспресса. На глобальном уровне люди способны осознавать угрозы со стороны климатических изменений и экологических катастроф, планировать международное сотрудничество по преодолению социального неравенства, голода и нищеты, но при этом продолжают считать технологии искусственного интеллекта чем-то вроде бездонного мешка с рождественскими подарками, а основным вопросом, с ними связанным, лишь то, кто будет эти подарки из мешка доставать и раздавать другим.

Полагаю, что есть две взаимосвязанные причины такой парадоксальной близорукости.

Одна – так называемая «ошибка доступности», известное когнитивное искажение, вызванное основанным на опыте подходом к оценке рисков. Проще говоря, это отрицание опасности по принципу «если такого никогда не было, то и не будет». Человек до последнего не верит в возможность катастрофических событий, с которыми раньше не сталкивался; человечество всерьез рассматривает только те угрозы, которые уже были реализованы раньше: война, эпидемия, экологическая катастрофа, голод. Экзистенциальная опасность, исходящая от информационных технологий, не воспринимается, как реальная, потому что ни с чем подобным люди в своей истории не сталкивались. По той же причине, например, несколько десятилетий назад никто и предвидеть не мог таких заболеваний, как компьютерная зависимость или номофобия – вполне реальное психическое расстройство, которое заключается в страхе остаться без мобильного телефона.

Вторая причина имеет схожие психологические основания. Видишь ли, Нина, есть такие предметы, которые в обществе считаются недостойными обсуждения всерьез, хоть они и являются объектом исследования десятков и сотен ученых, и даже – как в случае с цифровыми технологиями – если люди используют результаты таких исследований в повседневной жизни. Обыватель со значением готов обсуждать коррупцию и политические интриги, но, скажем, над поиском инопланетных цивилизаций или реальностью рисков, связанных с искусственным интеллектом, склонен снисходительно посмеиваться. Мне кажется, это связано с популярностью таких тем в индустрии развлечений: за последние несколько десятилетий истории про инопланетное вторжение или восстание машин так часто забавляли публику, что воспринимать их с серьезностью практически невозможно.

Тем не менее, я был убежден, что должны существовать какие-то средства или методы объективного контроля потенциальной опасности, связанной с развитием цифровых алгоритмов, и решил поговорить об этом с Егором.

– Контроль над искусственным интеллектом – иллюзия, – заявил внук. – Просто людям хочется верить, что они как-то могут влиять на процесс, если заинтересованы в его благополучном исходе. Всё, что тут можно придумать – принцип обязательного участия человека, то есть запрет на автономное принятие искусственным интеллектом жизненно важных решений без участия людей. Как ты понимаешь, дед, это фейл.

Я согласился.

– Да, во-первых, трудно определить, в чем люди превосходят машины. Где можно разрешить алгоритмам самостоятельно принимать решение, а где это лучше сделает человек? Предположу, что бесстрастное сравнение возможностей покажет, что человек не лучше нигде. Во-вторых, даже если допустить участие человека, оно будет чисто формальным и не поможет снизить риски, так как машина предлагает решение на основе невычислимого объема данных и непроверяемых расчетов, выполненных неизвестными методами. Тут надо или полностью отказываться от использования машин, или быть готовым отменить их решение просто на основе собственной интуиции; но тогда зачем вообще нужны эти машины?

– А в-третьих, – сказал Егор, – алгоритм может запросто тебя обмануть.

– Разве способность ко лжи не является свойством исключительно человеческого сознания?

Внук пожал плечами.

– А что такое сознание? «Утиный тест» в этом вопросе не работает: если что-то выглядит, как утка, плавает, как утка, и крякает, как утка, то это вовсе не обязательно утка, но вполне может быть роботом в виде утки. Это, кстати, тоже практически нерешаемая проблема. Пресловутый тест Тьюринга для выявления способности к мышлению и осознанию собственной личности заключается в том, чтобы исследователь в процессе заочного общения – ну, например, в чате – не смог с достоверностью определить, кто из его собеседников человек, а кто – машина. Если не ошибаюсь, какой-то из алгоритмов его успешно прошел уже много лет назад. Есть еще разные формы тестирования, которые должны выявлять, имеем ли мы дело с машиной или уже с чем-то иным, что обладает собственным «Я», но всегда остается вопрос, что такое это самое «Я» и как оно должно проявиться. И почему должно, собственно. Все методики по определению наличия сознания у машины основаны на том, что сознание это будет идентично человеческому, и алгоритмы, обладающие таким сознанием, будут вести себя, как человек, и рассуждать, как человек. Что очень глупо, по-моему, потому что речь идет как раз о нечеловеческом разуме небиологического существа. Может быть так, что машина заговорит с нами на естественном языке, начнет рассуждать на абстрактные темы, о свободе или о смерти, так что исследователи сочтут это признаком пробуждения сознания – а на самом деле, это алгоритмы искусственного интеллекта просто решают задачу пройти тест и выбирают наиболее эффективный метод на основе собранной информации о человеческой психологии и принципах мышления. А может, что люди вообще не заметят момента, когда у машины действительно появится свое «Я», потому что оно будет так же отличаться от человеческой личности, как океан в «Солярисе» Лема – от людей на космической станции. И какие решения этот «Я» начнет принимать, предположить невозможно.

– Но ведь можно внести какие-то ограничения и установки в базовый код?

– Наверное. Только какие? Принципы Азимова тут не прокатят.

Я это прекрасно понимал: первый же из трёх законов робототехники, предложенных знаменитым фантастом, о том, что робот не может причинить вреда человеку, не позволяет использование машин в военных целях, что совершенно исключает любые инвестиции в развитие цифровых технологий со стороны государства. Христианские заповеди не подойдут по той же причине, как и практически любые гуманистические императивы. Что же тогда?..

– Тогда остается надеяться, что Он все решит сам. На то Он и Суперинтеллект, верно же? Есть такой термин, определяющий принятый рабочий принцип развития Его ценностей: когерентная экстраполированная воля. То есть, машина должна сама определить, что для человечества хорошо, а что плохо, как это сделали бы мы, будь умнее и лучше. Это самая светлая из идей, которую смогли предложить ученые, оказавшись перед очевидной невозможностью сформулировать для искусственного интеллекта универсальные критерии добра и зла, при этом будучи не в состоянии остановить процессы совершенствования технологии и неизбежной передачи машинам все более полного контроля и права принимать решения. Думаю, впереди нас ждет много интересного.

– Или страшного?

Егор усмехнулся.

– Или веселого. Это как лететь на самолете, где автопилот сам решает, в какой аэропорт держать курс в зависимости от ему одному понятных критериев. Собираешься, например, в Крым, а приземляешься вдруг в Тбилиси или Алмате, потому что автопилот проанализировал переписку в мессенджерах и комментарии в социальных сетях всех пассажиров за последние десять лет и одним ему понятным способом вывел, что на самом деле большинство подсознательно желает в горы, а не на Черное море.

Чтобы справиться с нарастающим внутренним беспокойством, я еще почитал немного по теме, но в достижении цели не преуспел: то попалась, к примеру, история о том, как в процессе развития система искусственного интеллекта была подключена к интернету, собрала больше экзобайта данных в различных областях знания, после чего была отключена от сети во избежание неминуемого интеллектуального взрыва, но на локальном терминале продолжала самосовершенствоваться, всего за двое суток в тысячу раз превзойдя условный человеческий уровень; то наткнулся на экспертное интервью, где автор анализировал темп машинного самообучения, и делал вывод о возможности превращения «универсального человекоподобного интеллекта» в Суперинтеллект за несколько часов или даже минут. В конце концов я прочел высказывание Хьюго де Гариса:

«Люди не должны стоять на пути более развитой эволюционной формы. Эти машины богоподобны. Участь человечества – создать их»,

– и решил, что с меня хватит.

Вчера днем меня снова навестила Оксана. Наверное, поняла, что зря вспылила, или соскучилась по общению, а может быть, просто покурить было негде, но явилась она, как ни в чем ни бывало, не извиняясь сама и не намекая на неправоту с моей стороны.

– Холод на улице, – сообщила Оксана, сбивая в прихожей снег с каблуков. – Да и ветер. На лоджии сейчас, наверное, морозильник.

– Можете покурить на кухне, – великодушно разрешил я. – Потом проветрю.

Оксана что-то рассказывала про работу, про неудачные собеседования Олега; я едва слушал, не в силах отвлечься от своих мыслей. Она заметила и спросила:

– У вас все в порядке? Вы как будто не здесь.

И тогда я сказал:

– Представьте себе, что вы – представитель…Представительница внеземной цивилизации, высшего космического разума, путешествующая по Вселенной…

– Как Гудрун Эриксдоттир? – улыбнулась Оксана.

– Да, именно! И вот вы встречаете на пути несчастную, погрязшую в противоречиях и бедах человеческую цивилизацию, обитающую на планете, которую она вот-вот угробит своим легкомыслием. Эти люди запутались, зашли во все мыслимые тупики: экономический, общественный, политический; им не справиться с социальным неравенством, с постоянно вспыхивающими войнами, бороться с которыми они пытаются с помощью других, еще горших, войн; с нравственной и интеллектуальной деградацией, с угрозами голода и экологических катастроф. Возможно – нет, наверняка! – они бы могли совместными усилиями найти выход из положения, но вот беда: господствующая политическая культура не дает шансов на объединение этих усилий, но напротив, способствует разобщению, тем большему, чем больше критических проблем накапливается на планете, а потому для их решения они способны придумывать только людоедские или самоубийственные решения. Что бы вы сделали?

– Пролетела бы мимо.

– Но если нет? Если бы вы захотели спасти этих несчастных от самих себя, дать им шанс на спасение?

Оксана затянулась сигаретой и на минуту задумалась.

– Только насилие приходит в голову, – призналась она. – Но насилие, наверное, не выход?..