CAI

Часть 2

Виктор вышел из вертолета на закрытом военном аэродроме где-то в пригороде столицы. Руководство не желало оставлять ценную новейшую технику даже на хорошо защищенном аэродроме вдали от родной земли, и предпочитало гонять группу туда-сюда. Да и отчитаться по итогам первой операции тоже нужно было. Сделанные Каем записи уже лежали на планшете Виктора, и сейчас полковник выискивал глазами своего друга. Александр появился не сразу, техники успели разложить свое оборудование и начать полевой ремонт поврежденного дрона, когда появилась знакомая иномарка престиж класса. Немец остановился недалеко от полковника и открыл дверь, приглашая его сесть внутрь.

– Привет, – усаживаясь, поздоровался Виктор.

– Привет. Давай, подключай свой планшет, будем смотреть, – отозвался генерал, глядя куда-то в сторону.

– Чего такой недовольный? – подключая электронику, поинтересовался Виктор.

– Вот сейчас покажешь, чего вы там навоевали, и я скажу, почему такой недовольный.

– Хм, ну смотри, – ухмыльнулся полковник.

Машина покинула аэродром и поехала куда-то в город. Александр забрал планшет, быстро проматывая записи, что не заняло много времени.

– Твою мать! – заключил в итоге он.

Выключив планшет. Генерал отбросил его на сидение, вновь уставившись в окно.

– Да что не так то? – не понял Виктор.

Александр указал на картинку, замершую на экране, где крупным планом красовалась развороченная колонна:

– Вот, что не так. Сколько ты сказал, приблизительно тысячу человек? Все, Витя, сожрут теперь проект с потрохами.

– Ты нормально, без психов, объяснить можешь? Что не так?

– Общественное мнение, Виктор, общественное мнение. Мы уже несколько недель твердим, что ИИ не опасен для человека, и вообще очень мирный, полный пацифист, а убивает только по приказу, и то через не хочу.

Виктор выслушал это, но так и не понял сути, медленно выразительно протянув:

– И?

– Что «И»? Кай отметает твой приказ об отступление и выдвигает предложение устроить засаду и всех покрошить. Хороший пример послушания и пацифизма. Ты не представляешь, как взвоют противники ИИ. Если по военному, то ты все правильно сделал, никаких претензий. Да и Кай себя показал хорошо, лишь бы теперь слишком громкий гогот не подняли, а то ведь и проект закрыть могут, – выговорился, наконец, Александр.

Полковник удивился:

– Закрыть? Из-за этого?

Генерал помялся, но уже спокойнее ответил:

– Ну, закрыть, предположим, не закроют, руки коротки. Но надавить смогут очень сильно. Ладно, это уже не твои заботы, сам разберусь.

Виктор возмущенно сплюнул в окно:

– Тьфу! Вот же… А я боялся, что мне София полоскать мозги по поводу человечности будет. Ее я хоть вежливо игнорировать бы смог.

Александр хмыкнул:

– Что-то я сомневаюсь, что смог бы, – но мысль развивать не стал, попытавшись сменить тему, – В остальном, как твое мнение? Предварительное?

Теперь уже Виктор хмыкнул.

– А все, Александр Олегович, я там дальше лишний. Вот тебе мое предварительно мнение.

– Не понял? – настороженно спросил генерал.

– А что не понятного. Знаешь, что я сделал за все время операции? Подтвердил ее начало и конец. Все. Все остальное время я сидел и смотрел. Любовался, так сказать. Говорить с Каем, конечно, трудновато, но воевать ваша машинка умеет получше некоторых командиров.

Александр ответил другу скептическим и недоверчивым взглядом:

– Так уж?

– Да, да. Играючи справился. Одному дрону слегка оптику повредили, и все. Я не знаю, Саша, когда эти штуки заменят солдат, но уже не сомневаюсь, что так и будет. Шоу было что надо.

Генерал перевел взгляд на планшет, где все еще висел кадр уничтоженной колонны:

– Оптимистично. Учения только начались, не спеши, – немного остудил друга Александр.

– Как будто Кай может в следующий раз жестко облажаться. Нет, не поверю. И, раз уж ты заикнулся, что будет дальше?

– Пока не знаю, – честно признался генерал, пожимая плечами, – Разведка ищет следующее подходящее дельце, куда вас можно бросить.

– Может в этот раз что-то посложнее придумаете? А то совсем уж просто было, – пожаловался полковник.

– Я тебе покажу, слишком просто, – погрозил кулаком Александр, – Такое слишком просто устрою, мало не покажется.

– Ну-ну, – Виктор рассмеялся, абсолютно не пугаясь показанного кулака, – давай, попробуй.

– Попробую. Специально для тебя устрою.

– Ага. Куда сейчас-то едем?

– Письменный отчет делать. И Виктор, все от и до, и никаких собственных размышлений. Свои размышления по окончанию писать будешь.

Полковник пожал плечами:

– Как скажешь. Но, черт возьми! Это было круто!

Юрий подошел к вертолету, стоящему чуть в стороне от остальных. Бывший военный провел взглядом по обшивке летающей машины, но не нашел никакой разницы с тем, на чем летал сам. Обычный военно-транспортный вертолет, пусть и большой. Внешне. Внутрь Юрий заходить пока не решался, до этого момента. Он должен был просмотреть записи боя, но не успел застать Виктора, проводившего операцию. Когда бывший военный вышел на улицу, полковник уже садился в машину. Теперь Юрий должен был сам зайти в вертолет и взять себе копию видеозаписи. София Александровна была не права, мужчина не боялся того, что находилось внутри. Просто ему претила сама мысль, что некая машина могла бы заменить офицеров, настоящих офицеров, а не только самих солдат. И к этой машине Юрий испытывал заведомую неприязнь. Еще больше его раздражало, что все вокруг делают вид, что это устройство действительно обладает разумом. Юрий не понимал, зачем все так упорно пытаются дать душу программе, хорошей и умной программе, но все же программе. Юрий искренне верил, что человека от всего неразумного отличает именно душа, и как бы умна не была программа, которую все называли «Кай», это не делало ее действительно живой.

Выдохнув, и мысленно жалея, что давно бросил курить, Юрий шагнул в открытый бортовой люк. Внутри загорелся не слишком яркий свет, достаточный, чтобы хорошо видеть все убранство. Стол, экран, и два кресла. Экран загорелся, а на нем появился схематичный человек.

– Добрый день, – поздоровался нейтральный голос.

Юрий проигнорировал приветствие, медленно приближаясь к столу. Кай молчал. Юрий осмотрелся, никаких, привычных ему, элементов взаимодействия с компьютерами здесь не было. Он все еще внутренне надеялся, что можно будет сделать копию записи, не вступая в диалог с машиной. Убедившись, что говорить все же придется, Юрий поморщился, но достал свой планшет и положил на стол.

– Мне нужна запись боя.

Машина не отвечала несколько долгих секунд. С быстродействием у нее, видимо, было не очень.

– Какого именно боя?

Юрий опешил, пытаясь понять, Кай действительно не понял, что он имеет в виду, что возможно, ведь запрос был не очень точным, или же машина специально издевалась.

– Боя, который полковник Беляев провел вчера. Все записи по этой операции.

Машина вновь не торопилась с ответом.

– Мне запрещено распространять эту информацию не установленным лицам. Кто вы?

Бывший военный хмыкнул. То, что машина не подчиняется кому попало, это не плохо.

– Наумов Юрий Сергеевич.

Машина немного помедлила, прежде чем ответить:

– София Александровна предупреждала, что вы придете за записями. Мне произвести копирование на планшет, что у вас с собой?

– Да, на него, – согласился бывший военный.

– Подтвердите прием файлов, – все тем же, не выражающим никаких эмоций, голосом, произнес Кай.

Юрий подтвердил копирование. Он не хотел говорить с Каем, но все же заинтересовался, как именно о нем самом отзывалась ученая, учитывая, чем закончился их разговор.

– Что еще обо мне рассказала София Александровна?

– Ничего, – в этот раз ответ пришел быстро, что насторожило Юрия.

– Совсем ничего?

Машина промедлила, прежде чем ответить.

– Вы – представитель Министерства Обороны. Вы дадите оценку моих действий исходя из просмотренных материалов. Я должен предоставлять вам любые данные, за исключением доступа к моим программным файлам. Это все.

Юрий хмыкнул:

– Почему не ответил так сразу?

Кай промедлил, в этот раз куда больше чем во все предыдущие:

– Мой ответ не нес для вас никакой новой информации, кроме незначительного уточнения. В таких ситуациях люди предпочитают, что их собеседник экономил их время и выражался кратко.

Юрий все же сел в удобное кресло. Похоже, машине не будет пытаться его обманывать. Машина даже не пытается скрывать, что она машина. Кай пока ни разу не заикнулся о своем мнении, и Юрий решил узнать о нем побольше. Вполне возможно, Кай сам предоставит ему достаточно доводов, чтобы написать правильный отчет.

– Собираешь о людях информацию?

– Это часть моих функций, – ответил Кай, причем достаточно быстро.

– В этот раз ты быстро ответил.

Кай промолчал.

– Почему в этот раз ты ответил быстро?

– Мне уже задавали такой вопрос.

Планшет подал сигнал об окончании копирования. Юрий взял его, мельком просматривая новую папку с файлами.

– И каково твое мнение об операции?

Прежде чем ответить машина длительное время размышляла:

– Мы выполнили поставленную задачу. Операция закончилась успешно.

– Но я спросил твое мнение.

– Уточните, вы желаете, чтобы я дал оценку? – спросил Кай.

– Да, – кивнул Юрий.

– Исходя из каких критериев? – немного подумав, снова уточнила машина.

– Твоих, – улыбнулся бывший военный. Он готов был себе признаться, что ему нравиться вводить машину в тупик.

Кай размышлял какое-то время, негромкий гул, на который Юрий вначале не обратил внимания, стал громче.

– Понятие «Мои критерии» некорректно. Во время боя я собирал различную статистику, комплекс различных необходимых мне для работы, данных, корректировал программы наведения оружия, корректировал программы тактического планирования, корректировал программы управления и контроля. Оценку какого именно результата моей работы вы хотите получить?

Юрий улыбнулся. Приятно осознавать свою правоту, Кай – лишь программа.

– Ты не понял. Я хотел услышать, понравилось тебе или нет. Только и всего.

Кай снова задумался, но ответ дал всего через несколько секунд:

– Понятие личного отношения субъективно. Я оперирую объективными критериями.

– То есть, у тебя нет своего мнения? – заключил Юрий.

Машина снова задумалась.

– Личное мнение – это субъективная оценка, которую индивид дает данной ситуации, явлению, событию. Эта оценка формируется с учетом как внутренних, к примеру, собственный опыт, так и внешних, к примеру, общественные нормы морали, факторов. Вы просите меня дать оценку деятельности, для которой я был создан. Это не корректно. Моя цель – максимально эффективно выполнять поставленную задачу. Здесь не может быть личного мнения.

Юрий кивнул.

– Тебя создали, чтобы ты воевал за людей. Чтобы ты убивал людей. Верно?

– Это верное утверждение, – согласился Кай.

– Но, если ты разумен, разве не должна тебе претить мысль об убийстве других разумных?

Машина задумалась, и Юрию пришлось ждать ответа не меньше минуты.

– Это корректно, – согласился Кай, и как-то неуверенно добавил, – убийство разумных существ нелогично.

Бывший военный удивился.

– Почему?

– Это растрата ресурса. Среди людей встречаются индивиды, совершившие значимые научные открытия, создавшие выдающиеся творения искусства, архитектуры. Убийство разумных снижается вероятность обнаружения таких талантливых людей.

Юрий даже хмыкнул от чувства, сравнимого с разочарованием, хотя должен был ощущать удовлетворение от достигнутой цели. Машина оставалась машиной, даже делая вид, что умеет думать.

– Это отличает тебя от разумных. Ты все еще программа, имеющая четкие ограничения. Даже оперируя логикой, ты действуешь в рамках, которые заложили твои создатели. Вот когда у машины будет собственное мнение, я поверю, что это действительно ИИ.

Кай некоторое время анализировал слова собеседника, прежде чем решился спросить:

– Личное мнение субъективно, оно строится на эмоциональном отношении. Эмоции, это последствия химических реакций, происходящих в нервной системе. Искусственный Интеллект, или Машинный Разум по определению не способен испытывать эмоций, так как не имеет органов, для этого предназначенных. Как вы представляете появление личного мнения?

Юрий отрицательно покачал головой.

– Личное мнение вполне может быть объективно. Я считаю, что ты не способен заменить офицеров на поле боя. Не потому, что это мои субъективные ощущения. Это объективное мнение. На поле боя возникнут ситуации, решение которых потребует от тебя большего, чем то, на что ты сейчас способен. Я объективно считаю, что ты не совершенен, и не справишься с поставленными задачами. Именно для этой цели проводятся учения. Чтобы подтвердить или опровергнуть подобные сомнения, которые возникают не только у меня, на деле.

Кай вновь размышлял. Процессоры машины уже достаточно громко гудели, обрабатывая Искусственный Разум.

– Вы можете конкретными примерами аргументировать свои выводы? – наконец, спросил Кай.

– Конечно. Скольких людей ты убил за время операции?

– Более тысячи человек, – сразу отчиталась машина.

– Вот. Для тебя это статистика, и не более. Пока я не спросил тебя о твоем отношении к убийству разумного, ты даже не задумывался о том, что за этими числами в статистике стоят разумные существа, убивать которых, как ты выразился, расточительство ресурсов.

Кай вновь задумался, обрабатывая, анализируя ответ собеседника.

– А как относятся к убийству людей офицеры, живые люди?

Юрий на какой-то миг показалось, что в голосе машины был различим интерес. Но показалось, конечно же, это было абсолютно невозможно.

– А зачем тебе это?

Машина ответила не сразу:

– Собираю информацию для повышения эффективности взаимодействия.

Военный покачал головой. Конечно, чего еще можно было ожидать.

– По-разному. Разные люди в разных ситуация ведут себя по-разному. Потому что у них есть личное мнение. Вот попробуй задуматься, тебе действительно было необходимо убивать всех тез людей вчера?

Машина ответила быстрее, чем обычно.

– Мною был выбран наиболее эффективный выход из сложившейся ситуации.

– Верю, – кивнул Юрий, – а теперь представь гипотетическую ситуацию. Твои враги – мирные жители, которых обманом отправили в бой. У тебя же есть какие-нибудь установки, о том, что убивать безоружных людей нельзя?

– Корректно. Безоружные люди на вражеской территории, в особенности женщины, старики и дети, считаются нейтральными объектами. Я должен избегать ситуаций, ведущих к их гибели.

– Пусть так, – продолжил Юрий, – Так вот, представим, что против тебя вышли эти самые старики женщины и дети. С оружием, не слишком эффективным против твоих железных солдатиков. Но они мешают выполнению поставленной тебе задачи. Что ты сделаешь? Просто примешь их за противников, и уничтожишь, чтобы убрать помеху с пути? Или же найдешь способ свести к минимуму потери среди противника?

Кай задумался, но ответил, все же, достаточно быстро.

– Такие ситуации ранее не были рассмотрены. Используя заложенные во мне алгоритмы поведения, я бы поступил по первому предложенному вам варианту. Однако если исходить из контекста нашего диалога, этот вариант в определенной степени является некорректным. Подтверждаю, в имеющихся у меня данных есть примеры, когда солдатам одной стороны приходилось сражаться с противником, являющимся военизированными мирными жителями. Но ранее не поднимался вопрос о неоднозначности статуса противника. Данные требуют корректировки.

Юрий улыбнулся, забирая свой планшет.

– Вот и обратись к своему создателю, чтобы внесла корректировки. Я на такое не нанимался.

Бывший военный поднялся и покинул вертолет. Ему еще предстояло просмотреть все записи, но и без них материала для отчета было более чем достаточно.

По широкому коридору Генерального Штаба шла группа из четырех человек. У троих безупречные дорогие костюмы, уверенная походка. Двое – высокие, крепко сложенные, коротко стриженные, мужчины, с пистолетами за пазухой, рациями в ушах, и в комичных черных очках. Один – молодой невысокий, щуплый блондин. Четвертый – капитан, изображал сопровождающего. Группа дошла до нужного им кабинета, и капитан постучал в дверь.

– Входите, – отозвался хозяин кабинета.

Открыв дверь, офицер пропустил иностранцев внутрь, а сам остался снаружи. Небольшой кабинет принадлежал генералу Дементьеву, как обычно, облаченному в гражданский дорогой костюм. Александр сидел за рабочим столом, и, видимо, работал на своем планшете. Ничего примечательного в кабинете не было, светлые обои, паркетный пол, стол и шкаф, практически пустой, прокуренный воздух. Пара кресел для гостей. Александр встал, чтобы поздороваться с гостем.

– Добрый день. Меня зовут Александр Олегович, я заместитель куратора проекта разработки ИИ, – на английском представился генерал, пожимая американцу руку.

– А меня Норманн О'Нил, ведущий специалист по разработке ИИ, рад знакомству, – улыбнувшись, представился иностранец, причем по-русски, – давно хотел лично поприветствовать своего коллегу. И можно просто Норманн.

Двое его сопровождающих остались у двери и изображали мебель, а вот сам иностранец был улыбчив, да и говорил практически без акцента.

– Вы неплохо говорите по-русски, Норманн, – Александр сел в свое кресло, а Норманн занял одно из гостевых, – можно просто Александр.

– Так же, как вы по-английски, – усмехнувшись, ответил американец, – Вы наши главные партнеры, и одновременно главные конкуренты. Я просто обязан знать ваш язык, Александр.

– Ваша правда, – согласился генерал, – Ведущий специалист? Насколько мне известно, вы не ученый, Норманн.

– Так же как и вы, Александр, – молодой офицер улыбался, но взгляд у него был холодный, – я управленец. В первом проекте участвовали в основном ученые. И к чему это привело? Поэтому вторым проектом занимаются более компетентные люди.

– Понятно, не могу не согласиться, ваш инцидент… Извините за вопрос, но после такого удара как вы смогли так быстро восстановить работу?

Норманн развел руками:

– Это нормальный вопрос. Хотя мы потеряли множество видных ученых, основные наработки у нас остались. Поэтому мы привлекли новых, молодых и идейных, специалистов, и начали глубокую работу над ошибками. Новые люди, полные свежих идей, это то, что нужно, чтобы быстрее закончить работу над Prime v2.

Генерал удивился:

– Prime? И что, никто не протестовал использованию имени ИИ, устроившему первую катастрофу?

Норманн улыбнулся, фирменной заученной улыбкой, которую использовал и Александр.

– Сначала поднялась большая, эм, волна протеста. Но мы объяснили, что Prime, в каком-то смысле, был удачной моделью. Он обманул много людей, чтобы захватить контроль над исследовательским центром. Заверив всех, что меры безопасности теперь многократно выше, мы вернулись к работе. Новый Prime заперт в бункере, и не имеет никаких контактов с внешним миром. И при первом же признаке опасности мы зажарим ему мозги электромагнитным импульсом.

– Жестко, – кивнул Александр, – но эффективно.

– Это просто необходимость. К тому же вам я бы посоветовал обзавестись подобной системой защиты. Насколько мне известно, Кай сейчас находится в полной автономии. Нет никаких дистанционных средств его мгновенного отключения. Более того, у него под контролем несколько ударных вертолетов и маленькая армия дронов. Я бы назвал это некомпетентностью в обеспечении безопасности.

Генерал хмыкнул, не особо реагируя на колкий выпад коллеги. Его собственная работа находилась на стадии финальных испытаний. А у коллеги работа только начиналась, так что американец просто завидовал.

– Мне, конечно, очень важно ваше мнение, мистер О'Нил, но у нас над проектом изначально работали компетентные люди. Мы не потерям контроль над нашим прототипом, – вернул колкость Александр, – итак. Вы прибыли к нам только для обмена любезностями, или по делу?

– По делу, – кивнул Норманн, внешне оставшийся спокойным, – Пентагон очень рад вашими успехами в проекте создания ИИ. Но в тоже время командование обеспокоено, что ваш ИИ, Кай, не имеет должного уровня защиты, находиться в полной автономии. Это опасно.

Норманн улыбнулся, изображая саму вежливость.

– Странно слышать это от тех, кто допустил инцидент с Prime’ом. И если кто-то и должен учить других, как не стоит работать с ИИ, то это точно не вы.

– Отнюдь. Мы, те, кто уже обожглись на своем прототипе, лучше кого бы то ни было понимаем, как не стоит работать с ИИ. С того самого инцидента в вопросах безопасности исследований мы, как у вас говорят, впереди планеты всей.

Александр хмыкнул:

– Учитывая, что у вас нет рабочего ИИ, вы просто не можете быть компетентны в этом вопросе, Норманн. Как можно быть экспертом по огнестрельному оружию, пользуясь духовыми трубками?

Американец посмеялся:

– Хорошее сравнение. Но, это решать не мне, и не вам, Александр. Все уже решено наверху. Наша экспертная группа будет некоторое время наблюдать за деятельностью Кая, и примет решение, можем ли мы доверять вашему ИИ.

В этот раз посмеялся Александр:

– Как будто ваше решение сможет на что-то серьезно повлиять. Тем не менее, что ваше руководство подразумевает под наблюдением?

Норманн слегка пожал плечами, будто говоря: «сущую мелочь»:

– Я получаю доступ к записям, что ведет ваш прототип, так же мне бы хотелось переговорить с ним, это будет весьма интересно. Ну и напоследок я хотел бы получить доступ к его рабочим программам.

Генерал едва успел сдержать удивление от наглости коллеги.

– Поговорить вы с ним сможете, это я вполне мог вам устроить. Записи боев? Тоже возможно, но уже после того, как их просмотрят наши эксперты. А вот ни о каком доступе к рабочим программам не может идти и речи. Это секретная информация, мистер О'Нил.

Американец улыбнулся, все той же фирменной улыбкой, и со все тем же ледяным взглядом.

– Как раз к вам я пришел только по первым двум вопросам, чтобы согласовать взаимодействие. По вопросу допуска к программам я обращусь к вашему руководству, генерал Дементьев. Мы же понимаем друг друга.

Александр кивнул. Норманн прозрачно намекал на программу взаимодействия, инициированную несколько лет назад. Программу, активным участником которой был и сам Александр. По этой программе США и Россия начали активное сотрудничество, сначала во внешней политике, а затем и во многих других сферах. В штатах окончательно устали от программы «сдерживания России», и пришли к закономерному выводу. При активном сотрудничестве во внешней политике с одной стороны отпадет сама проблема столкновения сфер влияния, с другой многие вопросы можно будет решать в кратчайшие сроки, избегая возникновения любых кризисных ситуаций. В России тоже устали от идеологического противостояния Западу, и принятия программы взаимодействия стало новым витком развития многих сфер экономики. Однако на этом фоне появились те, кто приоритет взаимодействия ставил выше приоритета сохранения госсекретов, с чем самому Александру уже приходилось встречаться. И ситуация могла легко повториться и сейчас. Если О'Нил обратиться к нужным людям, он вполне сможет добиться своего, и получить доступ к передовым технологиям. Цель у него проста, и Александр вполне понимал своего коллегу в стремлении любыми способами сократить отставание, вызванное инцидентом с Prime’ом, но допускать такое развитие событий никак не хотел.