Роботы-убийцы против человечества. Киберапокалипсис сегодня

Три размерности автономности

Различное понимание автономности и терминологическая путаница в немалой степени обязаны историческому использованию слова «автономия», для обозначения трех различных явлений и процессов:

• контроля и управления в человеко-машинных системах, где автономия является характеристикой разделения функций между человеком и машиной;

• сложности машины;

• уровня автоматизации решений.

Эти три подхода различаются между собой и отражают совершенно не связанные между собой концептуальные схемы. Однако, люди, как правило, смешивают их вместе и пытаются создать термин, пригодный на все случаи жизни. Для того, чтобы выработать с одной стороны устраивающее всех определение автономии, а с другой – не превратить его в пустую абстракцию и наделить собственным, понятным содержанием, внимательно рассмотрим все три понимания автономии.

Управление и контроль в человеко-машинных системах

Первый способ употребления термина «автономия» относится к взаимоотношениям между человеком и машиной в рамках гибридных человеко-машинных систем. В тех случаях, когда машины лишь частично выполняют функции управления, а частично это делает человек, их называют полуавтономными машинами. Еще используется термин «машина с человеком в петле» (имеется в виду петля прямой и обратной связей в системах управления).

Машины, которые полностью выполняют все функции, но включают человека как контролера, и предусматривают возможность вмешательства его в управление при форс-мажорной или какой-либо иной ситуации называют автономными машинами под человеческим контролем.

Те машины, которые выполняют все функции самостоятельно и не предусматривают вмешательство людей в выполнение функций, называют полностью автономными машинами, или машинами «без человека в петле». Подчеркнем, что данное понимание автономии, строго говоря, не предъявляет никаких требований к способностям машин и тем более не говорит о наличии у них искусственного интеллекта. Оно только фиксирует распределение между человеком и машиной управляющих и контрольных функций.

Автономность как сложность

Термин «автономия» часто используется применительно к машинам как синоним сложности. Часто, независимо от распределения командно-контрольных функций, автоматические и автоматизированные системы характеризуются как автономные, если они способны выполнять сложные и/или разнообразные задачи и функции.

Исторически получилось так, что автоматические системы выполняли и выполняют очень простые, элементарные функции. Например, автоматическими являются тостеры и механические термостаты. С другой стороны, автоматическими являются и Гугломобили, и роботы-сборщики на конвейерах электромобилей «Тесла». Поскольку не только специалисты, но и далекие от производства люди понимают, что это принципиально разные устройства, для обозначения вторых стал использоваться термин «автономные». Кроме того, в последние годы термин «автономные» все чаще применяют для обозначения систем, предполагающих использование программ машинного обучения, в том числе так называемых систем «обучения без учителя».

Некоторые исследователи и практики предлагают использовать термин «автономные» только для машин, наделенных интеллектом. Однако такой подход лишь запутывает дело. Сегодня никому не понятно, что такое не только искусственный, но и естественный разум.

Термин «искусственный интеллект» вовсю применяется для выделения из общего ряда таких суперкомпьютеров, как Deep Blue, Watson и т. п. Однако, поскольку никому не понятно, что такое человеческий разум, а тем более психика, сознание, подсознание, то эти категории не могут использоваться не только для выработки юридически обязывающих соглашений, но и для образования стандартных общепринятых терминов. Нельзя что-то неизвестное определить через другое неизвестное. В этом плане мы считаем совершенно бесперспективной дискуссию на тему: когда компьютеры или роботы обретут разум. Поскольку мы не знаем, что такое разум в строгом смысле этого слова, то мы не можем с уверенностью сказать, когда его обретут или уже обрели компьютеры и роботы. К тому же мы не можем сказать, является ли вообще разум свойством отдельного индивидуума, либо он может быть реализован, сформирован и функционировать только в определенной общности. Пример детей, воспитывавшихся у животных, заставляет сомневаться в том, что единичный разум существует вообще. Тогда вполне может оказаться, что каждый отдельный компьютер и робот никаким разумом и сознанием не обладали и не обладают, а в системе, вполне вероятно, уже являются сознательными и разумными. Другое дело, мы должны понимать: это будут не человеческие сознание и разум, которые не вполне сможет распознать человек, если на это не будет желания иного разума. Кстати говоря, как это ни парадоксально, по этому же критерию и сетевой машинный разум и психика могут не распознать человеческий разум и психику, и считать их в этом смысле неразумными, со всеми вытекающими последствиями.

Возвращаясь к рассматриваемому подходу, подчеркнем лишь, что при использовании автономии, как синонима сложности, мы не имеем сколько-нибудь внятного не только количественного, но и фактографически определяемого разграничения автономных и неавтономных систем. Это разграничение в данном подходе становится полем произвола и выбора самостоятельно для каждого исследователя или просто человека.

Тип автоматизированных функций

В конечном счете, бессмысленно использовать термины «автономный», «полуавтономный» и «неавтономный» без указания на задачи и функции, которые автоматизируются. Каждая из функций имеет не только свой уровень сложности, но и свой уровень риска и последствий. Понятно, что совершенно различные риски возникают, если мы используем полностью автономный тостер, и боевого робота, оснащенного мощным электромагнитным оружием.

По крайней мере, на сегодняшний день любая поддающаяся автоматизации функция, так или иначе, может быть выполнена человеком или зависит от него. Поэтому в строгом формальном смысле, полностью автономных систем пока не существует. Даже автоматизированный Гугломобиль, не требующий от пассажиров навыков вождения, и сам выбирающий маршрут, тем не менее, требует от человека задания исходной и конечной точек маршрута. Правда, необходимо помнить известную поговорку «никогда не говори никогда». Нет гарантий, что в итоге не появится в той или иной сфере, причем возможно и в военной, полностью автономная система, в формальном смысле, где единственной функцией человека окажется отключение системы или ее уничтожение.

Разбор термина «автономия»

На наших глазах происходит вторжение коллективного бессознательного в научную и инженерную культурную среду. Одним из свидетельств подобного стала практика рассмотрения автономии в рамках научно-фантастического мема «человек против машины». Между тем, всем профессионалам понятно, что следует говорить не о подобном противопоставлении, а о том, какие задачи и функции в рамках системы выполняет человек, а какие – машина. В недавнем политическом документе НАТО сделан близкий вывод. В нем рекомендуется главное внимание обратить не на создание «полностью автономных систем, а на автоно-мизацию определенных функций в транспортных и боевых системах».

На наш взгляд, это наиболее перспективный подход. Изучая вопрос автономии мы, прежде всего, должны выделить конкретные функции и задачи, применительно к которым мы и определяем, что выполняется машиной, а что делается человеком. Кроме того, важно посмотреть, а что происходит в военной сфере уже сегодня. При этом мы должны помнить, что в строгом формальном плане полностью автономных систем в настоящее время на вооружении армии США и ее союзников не стоит. Зато по большей части с точки зрения функций контроля и управления распространены частично автономные роботизированные системы.

В той или иной форме автономность в военных системах используется более 70 лет. Первые самонаводящиеся боевые системы применялись во Второй мировой войне. Примером тому Фау-1 и Фау-2. После Второй мировой войны автономные системы, в основном связанные с функциями самонаведения, наблюдения, разведки и т. п. использовались многими странами мира, и прежде всего, Соединенными Штатами Америки и Советским Союзом.

Анализ практики автономизации в военной сфере позволяет выделить три типа вооружений:

1. Человек «присутствует в цикле управления или принятия решения». Это, как правило, различного рода ракетные вооружения, где человек выполняет функцию коррекции курса и окончательного принятия решения о поражении того или иного объекта. В военном деле гораздо более известны самонаводящиеся ракетные системы с разделяемыми боеголовками.

2. «Человек в петле» – контролер за транспортировкой боезаряда. В этом случае человек контролировал полет ракет или иных автономных средств, и на протяжении всего полета мог принять решение о ликвидации ракеты. Эти системы были наиболее распространены в Соединенных Штатах Америки.

3. Полностью автономные системы вооружений, где человек исключен из цикла управления, за исключением момента приведения в действие системы. Такие автономные системы в основном применялись в ракетных войсках стратегического назначения США и СССР. В отличие от Соединенных Штатов Советский Союз в начале 80-х годов завершил создание первой и единственной в мире до сегодняшнего момента полной автономной боевой роботизированной системы в строгом формальном смысле слова. В этом плане система, слабо известная на Западе, может выступать в качестве эталона полной автономной системы. Речь идет о комплексной боевой автономной роботизированной системе «Мертвая рука». Система включала в себя баллистические стратегические ракеты в особо глубоких шахтах. Ракеты имели автоматизированную, исключающую человека, систему запуска. Ракеты обладали самонаводящимися блоками и системами подавления помех ПВО и ПРО стран НАТО. Каждая баллистическая ракета с разделяющейся боеголовкой стартовала вместе с несколькими, сопровождающими ее противоракетами, которые на рискованных участках баллистической траектории – на старте и на выходе на цель, были способны автоматически распознавать и поражать противоракетные системы США и их союзников. Подземная система автоматического управления стартом ракет была соединена с полностью защищенной системой датчиков, расположенных на поверхности территории Советского Союза.

Свое название система «Мертвая рука» получила, поскольку в случае нанесения поражающего удара и уничтожения политического и военного командования Советского Союза, а также основных его городов и промышленных центров и большей части населения, датчики уже после гибели командования, большей части вооруженных сил и населения, сигнализировали о нанесенном ударе и по сигналу отдавалась команда на автоматический старт ракет, чья мощность – от 6 до 12 раз превосходила количество потребных боезарядов для уничтожения всего военного и гражданского потенциала США.

Впервые массовое использование боевых систем, имеющих автономные функции, имело место во время Второй мировой войной. Первой такой системой стала немецкая самоуправляющаяся торпеда. После пуска с подводной лодки, либо корабля она быстро шла прямым курсом примерно полкилометра, затем активизировалась головка ее самонаведения, соединенная с расположенными на торпеде миниатюрными гидроакустическими датчиками. Эти датчики распознавали шум винта судна или подводной лодки на значительном удалении и направляли торпеду к распознанному объекту для его уничтожения. Союзники такого класса оружия в течение Второй мировой войны не имели.

Конец ознакомительного фрагмента.

Текст предоставлен ООО «ЛитРес».

Прочитайте эту книгу целиком, купив полную легальную версию на ЛитРес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.