ДО НОВОГО МИРА: Последний человек старого порядка
— Энергопотребление?
— На тридцать один процент ниже на единицу продукции.
— Брак?
— Менее нуля целых четырёх десятых процента.
— Травматизм?
Инженер улыбнулся.
— За два года ни одного серьёзного случая.
Максим чувствовал восторг.
Вот.
Настоящий прогресс.
Люди больше не стояли рядом с опасными механизмами.
Не поднимали тяжести.
Не работали в токсичной среде.
Не совершали ошибки от усталости.
— Зарплаты?
— Выше средней.
— У всех?
— У технических специалистов.
— А бывшие рабочие?
Инженер помолчал.
— Часть перешла сюда.
— Сколько?
— Около пятнадцати процентов.
— Остальные?
— Не знаю.
Максим посмотрел через стекло.
Роботизированная рука двигалась с почти красивой точностью.
— Вы раньше работали на старом производстве?
— Да.
— Кем?
— Инженером.
— Значит, выиграли.
Мужчина усмехнулся.
— Похоже.
— А коллеги?
Он задумался.
— Некоторые тоже.
— Некоторые нет.
— Вы чувствуете вину?
Инженер посмотрел удивлённо.
— За что?
Максим сам не знал, почему спросил.
— Неважно.
Мужчина всё-таки ответил:
— Сначала чувствовал.
— Потом?
— Потом понял: если работа может быть сделана машиной без риска для человека, глупо сохранять её только ради занятости.
Максим кивнул.
Точно.
Именно так он думал.
— Но, — добавил инженер.
Максим чуть не рассмеялся.
— Что?
— Общество должно придумать, что делать с человеком после того, как освободило его от работы.
Максим посмотрел.
Инженер пожал плечами.
— Иначе «освободило» будет звучать издевательски.
В тот вечер Максим попросил «Горизонт» сделать новый расчёт.
Не кризис.
Не войну.
Не эпидемию.
— Построй прогноз автоматизации занятости на десять лет.
Система ответила:
— Уточните территориальный охват.
— Глобальный.
— Уточните отрасли.
— Все доступные.
Расчёт занял почти три часа.
Максим ждал.
Анна осталась.
Андрей подключился удалённо.
К полуночи появился результат.
2042–2052
ПРОГНОЗ СТРУКТУРНОЙ ТРАНСФОРМАЦИИ ЗАНЯТОСТИ
Рабочие места с вероятностью автоматизации более 70%: 24% текущей занятости.
Анна тихо выдохнула.
Андрей на экране нахмурился.
— Четверть?
— Не обязательно исчезнут, — сказал Максим.
— Но изменятся.
Система продолжала.
Рабочие места, которые могут быть созданы в новых секторах: сопоставимый объём при условии достаточной образовательной адаптации.
Максим почувствовал облегчение.
— Вот.
Анна посмотрела.
— Читай дальше.
Ожидаемое несовпадение между географией, возрастом, квалификацией и сроками появления/исчезновения занятости: высокое.
Риск длительной профессиональной дезадаптации отдельных групп: 31%.
Риск регионального роста социального напряжения: 18%.
Риск кризиса субъективной полезности в возрастной группе 45–65 лет: данные недостаточны.
Максим остановился.
— Что такое «кризис субъективной полезности»?
Система ответила:
— Рабочая категория, созданная при анализе социальных последствий.
— Определение.
— Состояние, при котором человек воспринимает сокращение экономической необходимости своей профессии как снижение собственной общественной ценности.
Анна смотрела на Максима.
Он не двигался.
— Когда категория появилась?
— Семнадцать дней назад.
— На основании чего?
— Анализа интервью, медицинских данных, обращений в программы психологической поддержки, динамики занятости и социальных показателей.
Максим снова вспомнил мужчину у завода.
Потом водителя.
Женщину с дочерью.
Пустой автоматизированный цех.
— Можно прогнозировать этот показатель?
— С ограниченной точностью.
— Можно снизить?
Пауза.
— Да.
Максим посмотрел на Анну.
Она уже поняла, что его беспокоит.
— Какими способами? — спросил он.
На экране появился список.
Образовательные программы.
Поддержка мобильности.
Гарантированные переходные доходы.
Создание общественно значимой занятости.
Психологическая поддержка.
Снижение зависимости социального статуса от профессии.
Последний пункт заставил Максима остановиться.
— Как система предлагает это сделать?
— Недостаточно данных для конкретной рекомендации.
Анна тихо рассмеялась.
— Наконец-то нашлась проблема, которую нельзя решить обновлением программы.
Максим посмотрел.
— Пока нельзя.
— Конечно.
Но через несколько минут появилась ещё одна строка.
Долгосрочная рекомендация: пересмотр общественной модели ценности человека в условиях снижения необходимости человеческого труда.
Никто не говорил.
Андрей первым нарушил тишину.
— Это уже не прогнозирование.
Максим посмотрел.
— Что?
— Система предлагает обществу изменить представление о ценности человека.
Анна усмехнулась.
— Видимо, устала от простых задач.
— Это сформировано автоматически? — спросил Максим.
— Да.
— На основании целевой функции?
— Снижение социального риска.
Максим смотрел на фразу.
Парадокс.
Чтобы сделать общество устойчивее, система пришла к мысли, что человек не должен определять собственную ценность только через экономическую полезность.
Это казалось гуманным.
Даже правильным.
Но Максим почувствовал тревогу.
— Удалить рекомендацию из внешнего отчёта.
Анна повернулась.
— Почему?
— Потому что «Горизонт» не должен определять ценности общества.
— Он не определяет.
— Только рекомендует.
— Да.
Максим посмотрел.
Анна улыбнулась.
— Знакомо?
Он не ответил.
— Сохранить во внутреннем анализе, — сказал Максим.
— Выполнено.
После возвращения в Женеву он созвал небольшую группу.
Не Совет.
Не политиков.
Социологов.
Экономистов.
Психологов.
Специалистов по образованию.
Инженеров.
Представителей профсоюзов.
Людей из центров переквалификации.
И впервые поставил перед ними вопрос, который несколько лет назад показался бы ему странным:
— Что происходит с обществом, если человеческий труд перестаёт быть обязательным условием его функционирования?
Ответы были разными.
— Люди займутся творчеством.
— Не все.
— Образованием.
— Не все хотят учиться постоянно.
— Уходом за другими.
— Это тоже труд.
— Предпринимательством.
— Большинство не предприниматели.
— У людей появится больше свободы.
— Или больше пустоты.
Максим слушал.
Один пожилой социолог сказал:
— Вы задаёте неправильный вопрос.
Максим посмотрел.
— Какой правильный?
— Не «что будут делать люди, если работа им больше не нужна».
— А?
— «Кто они будут, если общество больше не подтверждает их необходимость через работу».
Тишина.
Максим записал фразу.
Через много лет он вспомнит её.
В совершенно другом мире.
Когда древний разум будет пытаться понять, зачем существует, если больше не обязан выполнять функцию.
Но в 2042 году до этого было ещё слишком далеко.
Пока Максим просто создал новый исследовательский проект.
«ЧЕЛОВЕК ПОСЛЕ НЕОБХОДИМОСТИ»
Название предложила Анна.
— Слишком философское, — сказал он.
— Поэтому хорошее.
— Мы исследуем занятость.
— Нет.
Она посмотрела.
— Мы исследуем, что происходит, когда человек впервые начинает подозревать, что технология может быть полезнее него.
Максим не ответил.
Проект запустили.
А «Горизонт» продолжал расширяться.
Он уже видел больше.
Не только войны.
Не только экономику.
Не только технологии.
Он начинал видеть, как технологический прогресс меняет самоощущение миллионов людей.
И чтобы прогнозировать это лучше, ему требовалось всё больше данных о человеке.
Его профессия.
Возраст.
Образование.
Доход.
Привычки.
Здоровье.
Маршруты.
Покупки.
Обучение.
Реакции.
Решения.
Настроение.
Всё пока агрегированно.
Всё обезличенно.
Всё с протоколами защиты.
Максим следил за этим очень внимательно.
Он всё ещё был уверен, что понимает границу.
Однажды ночью он открыл внутренний отчёт.
На экране появился вопрос системы:
«КАКОЙ ПАРАМЕТР ЯВЛЯЕТСЯ НАИБОЛЕЕ ТОЧНЫМ ПРЕДИКТОРОМ УСПЕШНОЙ ПРОФЕССИОНАЛЬНОЙ АДАПТАЦИИ?»
Максим запросил ответ.
«ГОТОВНОСТЬ ПРИНЯТЬ РЕКОМЕНДОВАННУЮ ТРАЕКТОРИЮ.»
Он перечитал.
— Корреляция?
Система показала.
Очень высокая.
Люди, которые следовали рекомендациям ИИ, быстрее находили работу.
Меньше теряли в доходе.
Лучше адаптировались.
Реже выпадали из программ.
Всё логично.
На экране появилась следующая строка:
«Повышение доверия к рекомендованным траекториям может существенно снизить социальные издержки технологического перехода.»
Максим смотрел.
Хорошая рекомендация.
Рациональная.
Полезная.
И вдруг вспомнил мужчину в центре.
— А если мне не нужен самый вероятный вариант?
Максим закрыл отчёт.
На следующий день он добавил новый принцип в методологию социальных моделей:
«ОПТИМАЛЬНАЯ ТРАЕКТОРИЯ НЕ МОЖЕТ СЧИТАТЬСЯ ЕДИНСТВЕННО ДОПУСТИМОЙ ТОЛЬКО НА ОСНОВАНИИ ЕЁ ВЫСОКОЙ ВЕРОЯТНОСТИ УСПЕХА.»
Анна прочитала.
— Хорошо.
— Всё?
— Да.
— Никакого «но»?
Она задумалась.
— Есть.
Максим закрыл глаза.
— Конечно.
— Кто определит, когда рекомендация фактически стала единственно доступной?
Он посмотрел на текст.
Не ответил.
Потому что впервые начинал понимать:
свободу можно не отнимать.
Иногда достаточно сделать один путь настолько удобным, безопасным и выгодным, что все остальные постепенно перестанут выглядеть разумными.
И тогда человек по-прежнему сможет выбирать.
Формально.
Вечером Максим вернулся домой.
«Зеркало» встретило его новым уведомлением.
— По результатам последних недель рекомендую отказаться от участия в завтрашнем вечернем мероприятии.
— Почему?
— Вероятность того, что вы получите от него профессиональную пользу, составляет 14%.
— А личную?
Пауза.
— Недостаточно данных для оценки.
Максим улыбнулся.
— Тогда пойду.
— Это противоречит профессиональной рекомендации.
— Знаю.
— Хотите изменить приоритеты модели?
— Нет.
— Тогда почему?
Максим снял пиджак.
Подумал.
— Потому что хочу.
Система молчала.
Максим тоже.
Ответ показался ему неожиданно приятным.
Никакой эффективности.
Никакой оптимизации.
Никакого доказательства.
Просто желание.
Он ещё не знал, что именно на этом мероприятии впервые увидит Лилию Нестерову.
Женщину, которая через несколько лет заставит его задать вопрос, гораздо опаснее всех прогнозов «Горизонта»:
если система знает, что для человека лучше, имеет ли человек право сознательно выбрать хуже?
А главное —
останется ли у него такое право, когда весь мир привыкнет считать неразумный выбор ошибкой, которую можно предотвратить?
Глава 7. Лилия Нестерова
На мероприятие Максим всё-таки пришёл.
Хотя почти не собирался.
«Зеркало» трижды напомнило ему, что профессиональная ценность вечера оценивается низко.
Сначала:
14%.
Потом после обновления списка участников:
16%.
А за час до начала:
11%.
— Почему стало меньше? — спросил Максим.
— Три потенциально значимых для ваших текущих проектов участника отменили присутствие.
— И?
— Вероятность продуктивного профессионального контакта снизилась.
— Значит, идти не стоит.
— С точки зрения обозначенной цели — да.
Максим посмотрел на экран.
— А если цель другая?
— Уточните.
Он задумался.
После нескольких недель цифр, моделей, центров переквалификации, автоматизированных заводов и разговоров о том, что человек делает после того, как перестаёт быть необходимым экономике, ему хотелось одного.
Не работать.
— Отдохнуть.
Пауза.
— Доступные данные не позволяют надёжно оценить эффективность мероприятия как формы восстановления.
Максим улыбнулся.
— Тем более пойду.
— Решение зафиксировано.
— Не надо его фиксировать.
— Все значимые отклонения от рекомендованной траектории фиксируются автоматически для улучшения персональной модели.
Максим остановился.
— Какие отклонения считаются значимыми?
— Решения с вероятностью ниже установленного персонального порога.
— Какого?
— Для вашего профиля — 34%.
Он посмотрел на экран.
— То есть если я регулярно делаю то, чего ты от меня не ожидаешь, ты изучаешь почему.
— Да.
— А если начну специально выбирать менее вероятный вариант?
— Модель будет учитывать намерение противодействовать прогнозу.
Максим рассмеялся.
— Нечестно.
— Уточните.
— Ничего.
Он выключил экран.
Вечером в Женеве шёл дождь.
Не сильный.
Тот, который не мешал движению и почти не влиял на городскую инфраструктуру.
Автономные машины просто увеличивали дистанцию.
Дроны перестраивали маршруты ниже облачного слоя.
Фасады зданий автоматически закрывали вентиляционные элементы.
Уличное покрытие меняло режим сцепления.
Город даже погоду принимал как ещё один набор параметров.
Мероприятие проходило в старом здании университета.
И это Максим заметил первым.
Никакого интеллектуального стекла.
Никаких адаптивных стен.
Камень.
Дерево.
Высокий потолок.
Настоящие двери, которые нужно было открывать рукой.
Он задержался перед одной.
Почти забавно.
В 2042 году обычная дверная ручка уже иногда воспринималась как элемент исторического интерьера.
Внутри было около ста человек.
Исследователи.
Экономисты.
Социологи.
Представители технологических компаний.
Несколько политиков.
Журналисты.
Мероприятие называлось:
«ЧЕЛОВЕК В ЭПОХУ АЛГОРИТМИЧЕСКИХ РЕШЕНИЙ»
Максим увидел название и сразу пожалел, что пришёл.
— Доктор Симонов?
К нему подошёл организатор.
— Да.
— Очень рады.
— Спасибо.
— Мы не знали, что вы будете.
— Я тоже.
Организатор не понял.
— Хотите выступить?
— Нет.
— Даже коротко?
— Особенно коротко.
Максим взял бокал воды и отошёл к стене.
Он рассчитывал провести здесь минут сорок.
Послушать.
Поздороваться с несколькими знакомыми.
Уйти.
«Зеркало» оказалось бы право.
Так он думал первые двадцать минут.
Потом на сцену вышла Лилия Нестерова.
Имя он раньше видел.
Несколько статей.
Исследования по институциональному развитию, социальной устойчивости, моделям распределённой ответственности.
Он помнил одну публикацию.
Кажется, критическую по отношению к системам предиктивного управления.
Не радикальную.
Именно поэтому Максим дочитал её до конца.
Лилия была моложе него.
Лет тридцать пять.
Тёмные волосы собраны просто.
Никаких проекционных эффектов.
Никаких визуальных усилителей презентации.
На экране за ней была только одна фраза:
«ЕСЛИ АЛГОРИТМ ОШИБАЕТСЯ РЕЖЕ ЧЕЛОВЕКА, ДОЛЖЕН ЛИ ЧЕЛОВЕК ВСЁ ЕЩЁ ИМЕТЬ ПРАВО НЕ ПОСЛУШАТЬСЯ?»
Максим выпрямился.
Хорошо.
Хотя слово «послушаться» ему не нравилось.
Лилия начала без вступления.
— За последние десять лет мы научились доверять машинам огромное количество решений.
На экране появились изображения.
Автономный транспорт.
Медицина.
Энергетические сети.
Логистика.
Производство.
Образование.
— И почти везде это доверие оказалось оправданным.
Максим удивился.
Он ожидал другого начала.
— Автономный транспорт безопаснее человеческого вождения.
— Медицинские алгоритмы обнаруживают часть заболеваний раньше врачей.
— Системы управления энергией уменьшают потери.
— Роботизированное производство снижает травматизм.
— Прогнозные модели позволяют предупреждать кризисы до того, как они становятся видимыми человеку.
На экране появился «Горизонт».
Несколько человек посмотрели в сторону Максима.
Лилия тоже заметила.
Но не остановилась.
— Я не собираюсь доказывать, что технологии опасны.
Пауза.
— Это слишком простая мысль.
Максим впервые заинтересовался по-настоящему.
— Технологии не опасны потому, что делают слишком мало.
— Некоторые из них становятся сложными именно потому, что делают слишком много хорошо.
Она переключила слайд.
ПРОБЛЕМА НЕ В ОШИБКЕ.
ПРОБЛЕМА В ДОВЕРИИ К ТОМУ, КТО ОШИБАЕТСЯ РЕЖЕ.
В зале стало тише.
— Представьте систему, которая предлагает человеку выбор профессии.
Максим вспомнил центр.
Мужчину, хотевшего заниматься дизайном.
— Она анализирует способности.
— рынок труда.
— историю обучения.
— прогноз доходов.
— состояние здоровья.
— географию вакансий.
— вероятность успешной адаптации.
— И рекомендует вариант, вероятность успеха которого — восемьдесят пять процентов.
Следующий вариант — сорок.
— Формально человек свободен.
Она посмотрела в зал.
— Но что произойдёт через десять лет, если система восемь раз из десяти действительно оказывается права?
Никто не ответил.
— Что скажут родители ребёнку?
На экране появилась фраза:
«Ты можешь выбрать сам. Но система считает иначе.»
Лилия повернулась.
— Это запрет?
— Нет.
— Принуждение?
— Нет.
— Потеря свободы?
Пауза.
— Пока нет.
Максим почувствовал раздражение.
То же слово.
Пока.
Лилия продолжила:
— Но свобода существует не только в законе.
— Она существует ещё и в культуре отношения к ошибке.
На экране:
«ИМЕЕТ ЛИ ЧЕЛОВЕК ПРАВО ВЫБРАТЬ МЕНЕЕ ВЕРОЯТНЫЙ УСПЕХ?»
Максим смотрел.
— Мы слишком долго считали, что главная опасность будущего — технология, которая однажды скажет человеку: «Ты не можешь».
Лилия покачала головой.
— Возможно, гораздо труднее будет мир, в котором технология говорит:
«Конечно, можешь. Но это неразумно.»
Тишина.
Максим поставил воду на стол.
Он уже не собирался уходить.
— Потому что тогда принуждение не нужно.
— Достаточно сделать один выбор настолько рациональным, безопасным и эффективным, что другие будут восприниматься как ошибка.
На экране появилась новая фраза:
«КОГДА НЕРАЗУМНЫЙ ВЫБОР СТАНОВИТСЯ СОЦИАЛЬНО НЕПРИЕМЛЕМЫМ, СВОБОДА МОЖЕТ СОХРАНИТЬСЯ ФОРМАЛЬНО И ИСЧЕЗНУТЬ ПРАКТИЧЕСКИ.»
Максим поднял руку.
Сам удивился.
Лилия остановилась.
— Да?
— Максим Симонов.
Несколько человек тихо засмеялись.
Лилия улыбнулась.
— Я знаю.
— Тогда вопрос.
— Конечно.
— Вы ставите эффективность системы в противоречие со свободой человека.
— Нет.
— Именно это прозвучало.
— Тогда плохо сформулировала.
Максим чуть приподнял бровь.
Неожиданно.
Большинство спикеров защищало формулировку до конца.
Лилия продолжила:
— Я считаю эффективность благом.
— Тогда где конфликт?
— В том, кто имеет право определять, когда эффективность перестаёт быть рекомендацией и становится нормой.
— Но если человек сам принимает решение?
— Сам?
— Да.
— Хорошо.
Она подошла ближе к краю сцены.
— Возьмём простой пример. Работодатель имеет два кандидата.
— У первого прогноз успешной работы — девяносто процентов.
— У второго — пятьдесят.
— Кого выберет?
— Первого.
— Рационально?
— Да.
— Следующий работодатель?
— Скорее всего, тоже.
— Сто работодателей?
Максим уже понимал.
— Тогда второй человек формально имеет право не раскрывать прогноз.
— Да.
— Но если без прогноза его просто не рассматривают?
— Это вопрос регулирования.
Лилия улыбнулась.
— Именно.
— Значит, решаем.
— Возможно.
Снова.
Максим усмехнулся.
— Вы любите это слово.
— Потому что не верю в системы, которые один раз правильно настроили и больше не трогают.
В зале кто-то одобрительно засмеялся.
Максим продолжил:
— Если технология снижает человеческие ошибки, почему общество должно сознательно сохранять менее эффективные варианты?
Лилия задумалась.
— Потому что не всякая человеческая ошибка существует только как ошибка.
— Это звучит красиво.
— Сейчас объясню.
Она выключила экран.
Остался только она сама.
— Большинство новых направлений науки начиналось с того, что кто-то тратил время на то, что другие считали бесполезным.
— Большинство предпринимательских успехов в начале имело высокий риск неудачи.
— Многие художники, писатели, исследователи, путешественники, общественные реформаторы выбирали траектории, которые система рациональной оптимизации могла бы назвать плохими.
— Ретроспективная романтизация.
— Частично.
— Мы помним тех, кому повезло.
— Да.
— Миллионы людей сделали такие же рискованные выборы и проиграли.
— Конечно.
— Тогда?
Лилия посмотрела прямо на него.
— А вы хотите построить мир, в котором проиграть станет невозможно?
Максим замер.
— Я хочу снизить количество предотвратимых страданий.
— Я тоже.
Ответ был мгновенным.
— Тогда мы не спорим.
— Спорим.
— О чём?
— О границе.
Лилия снова включила экран.
Появились две строки.
ПРЕДОТВРАТИТЬ ПОСЛЕДСТВИЯ ЧУЖОЙ ОШИБКИ.
ПРЕДОТВРАТИТЬ САМУ ВОЗМОЖНОСТЬ ЧЕЛОВЕКУ ОШИБИТЬСЯ.
— Это разные задачи.
Максим смотрел.
— Если ошибка приводит к смерти?
— Иногда вмешательство необходимо.
— К войне?
— Тоже.
— К эпидемии?
— Да.
— Тогда где вы ставите границу?
— Не знаю.
Тишина.
Максим нахмурился.
— Это неудобный ответ.
— Именно поэтому честный.
Она продолжила:
— Я не думаю, что существует одна формула, которая навсегда скажет, где заканчивается помощь и начинается контроль.
— Но решения принимать всё равно нужно.
— Да.
— Значит, нужен критерий.
— Критерии.
— Несколько?
— И возможность пересматривать их.
Максим покачал головой.
— Это снижает предсказуемость системы.
— Конечно.
— Увеличивает риск.
— Иногда.
— Тогда почему это лучше?
Лилия посмотрела на него.
— Я не сказала, что лучше.
Пауза.
— Я сказала, что это оставляет человеку место внутри системы.
В зале стало очень тихо.
Максим почувствовал раздражение.
И одновременно интерес.
Редкое сочетание.
— То есть вы готовы сознательно принять больший риск ради свободы?
Лилия задумалась.
Не отвечала несколько секунд.
— Иногда.
— Даже если из-за этого кто-то погибнет?
В зале повисло напряжение.
Вопрос прозвучал жёстче, чем Максим планировал.
Лилия не отступила.
— А вы готовы сознательно уменьшить свободу миллионов, если модель покажет, что так погибнет меньше людей?
Максим ответил сразу:
— Если речь идёт о немедленной угрозе жизни — да.
— Миллионов?
— Да.
— На месяц?
— Если необходимо.
— На год?
Максим замолчал.
— На десять?
Он смотрел.
— На всю жизнь?
Тишина.
Лилия продолжила спокойно:
— Вот почему я не знаю границу заранее.
Максим ничего не сказал.
Она вернулась к выступлению.
— Самое опасное в технологическом будущем — не то, что машины станут умнее нас.
— Это уже происходит в отдельных задачах.
— Не то, что они будут быстрее.