Совместимость. Как контролировать искусственный интеллект

14

Данная статья одной из первой установила четкую связь между алгоритмами обучения с подкреплением и нейрофизиологической регистрацией: Wolfram Schultz, Peter Dayan, and P. Read Montague, “A neural substrate of prediction and reward,” Science 275 (1997): 1593–99.

15

Исследования внутричерепной стимуляции проводились в надежде найти средства лечения различных психических болезней. См., например: Robert Heath, “Electrical self-stimulation of the brain in man,” American Journal of Psychiatry 120 (1963): 571–77.

16

Пример биологического вида, который может исчезнуть из-за зависимости: Bryson Voirin, “Biology and conservation of the pygmy sloth, Bradypus pygmaeus,” Journal of Mammalogy 96 (2015): 703–7.

17

Появление понятия эффект Болдуина в эволюции обычно связывается со следующей статьей: James Baldwin, “A new factor in evolution,” American Naturalist 30 (1896): 441–51.

18

Основная идея эффекта Болдуина также описывается в работе: Conwy Lloyd Morgan, Habit and Instinct (Edward Arnold, 1896).

19

Современный анализ и компьютерная реализация, демонстрирующие эффект Болдуина: Geoffrey Hinton and Steven Nowlan, “How learning can guide evolution,” Complex Systems 1 (1987): 495–502.

20

Дальнейшее раскрытие эффекта Болдуина в компьютерной модели, включающей эволюцию внутренней цепи сигнализации о вознаграждении: David Ackley and Michael Littman, “Interactions between learning and evolution,” in Artificial Life II, ed. Christopher Langton et al. (Addison-Wesley, 1991).

21

Здесь я указываю на корни нашего сегодняшнего понимания разума, а не описываю древнегреческое понятие нус, или «ум», имеющее много связанных друг с другом значений.

22

Цит. в пер. Н. Брагинской. – Прим. пер.

23

Цит. по: Aristotle, Nicomachean Ethics, Book III, 3, 1112b.

24

Кардано, один из первых европейских математиков, занимавшихся отрицательными числами, разработал раннюю математическую трактовку вероятности в играх. Он умер в 1576 г., за 87 лет до опубликования своего труда: Gerolamo Cardano, Liber de ludo aleae (Lyons, 1663).

25

Работу Арно, впервые изданную анонимно, часто называют «Логикой Пор-Рояля» [по названию монастыря Пор-Рояль, аббатом которого являлся Антуан Арно. – Прим. пер.]: Antoine Arnauld, La logique, ou l’art de penser (Chez Charles Savreux, 1662). См. также: Blaise Pascal, Pensées (Chez Guillaume Desprez, 1670).

26

Понятие полезности: Daniel Bernoulli, “Specimen theoriae novae de mensura sortis,” Proceedings of the St. Petersburg Imperial Academy of Sciences 5 (1738): 175–92. Идея Бернулли о полезности вытекает из рассмотрения случая с купцом Семпронием, делающим выбор между перевозкой ценного груза одним судном или его разделением между двумя судами из соображения, что каждое судно имеет 50 %-ную вероятность затонуть в пути. Ожидаемая денежная полезность двух решений одинакова, но Семпроний, очевидно, предпочитает решение с двумя судами.

27

По большинству свидетельств, сам фон Нейман не изобретал эту архитектуру, но его имя значилось на начальном варианте текста влиятельного отчета, описывающего вычислительную машину с запоминаемой программой EDVAC.

28

Работа фон Неймана и Моргенштерна во многих отношениях является фундаментом современной экономической теории: John von Neumann and Oskar Morgenstern, Theory of Games and Economic Behavior (Princeton University Press, 1944).

29

Предположение, что полезность есть сумма дисконтируемых вознаграждений, было сделано в форме математически приемлемой гипотезы Полом Самуэльсоном: Paul Samuelson, “A note on measurement of utility,” Review of Economic Studies 4 (1937): 155–61. Если s0, s1, … – последовательность состояний, то полезность в этой модели есть U (s0, s1, …) = ∑tƴ tR (st), где ƴ – коэффициент дисконтирования, а R – функция вознаграждения, описывающая желательность состояния. Наивное применение этой модели редко согласуется с оценкой реальными индивидами желательности нынешнего и будущего вознаграждений. Тщательный анализ см. в статье: Shane Frederick, George Loewenstein, and Ted O’Donoghue, “Time discounting and time preference: A critical review,” Journal of Economic Literature 40 (2002): 351–401.

30

Морис Алле, французский экономист, предложил сценарий принятия решения, в котором человек последовательно нарушает аксиомы фон Неймана – Моргенштерна: Maurice Allais, “Le comportement de l’homme rationnel devant le risque: Critique des postulats et axiomes de l’école américaine,” Econometrica 21 (1953): 503–46.

31

Введение в анализ принятия неколичественных решений см. в: Michael Wellman, “Fundamental concepts of qualitative probabilistic networks,” Artificial Intelligence 44 (1990): 257–303.

32

Я вернусь к рассмотрению свидетельств человеческой иррациональности в главе 9. Основные работы по данной теме: Allais, “Le comportement”; Daniel Ellsberg, Risk, Ambiguity, and Decision (PhD thesis, Harvard University, 1962); Amos Tversky and Daniel Kahneman, “Judgment under uncertainty: Heuristics and biases,” Science 185 (1974): 1124–31.

33

Следует понимать, что это мысленный эксперимент, который невозможно поставить на практике. Выбор разных вариантов будущего никогда не предстает во всех деталях, и люди никогда не имеют роскошной возможности подробнейшим образом исследовать и оценить эти варианты, прежде чем выбирать. Мы получаем лишь краткие резюме, скажем, «библиотекарь» или «шахтер». Когда человек делает такой выбор, то в действительности ему предлагается сравнить два распределения вероятности по полным вариантам будущего, один из которых начинается с выбора «библиотекарь», а другой – с выбора «шахтер», причем каждое распределение предполагает оптимальные действия со стороны данного человека в рамках каждого будущего. Очевидно, сделать такой выбор непросто.

34

Первое упоминание о рандомизированной стратегии в играх: Pierre Rémond de Montmort, Essay d’analyse sur les jeux de hazard, 2nd ed. (Chez Jacques Quillau, 1713). В книге упоминается некий монсеньор де Вальдграв в качестве автора оптимального рандомизированного решения для карточной игры Ле Гер. Сведения о личности Вальдграва раскрываются в статье: David Bellhouse, “The problem of Waldegrave,” Electronic Journal for History of Probability and Statistics 3 (2007).

35

Задача полностью определяется, если задать вероятность того, что Алиса забивает гол в каждом из следующих четырех случаев: если она бьет вправо от Боба, и Боб бросается вправо или влево, и если она бьет влево от Боба, и он бросается вправо или влево. В данном случае эти вероятности составляют 25, 70, 65 % и 10 % соответственно. Предположим, что стратегия Алисы – бить вправо от Боба с вероятностью p и влево с вероятностью 1 – p, тогда как Боб бросается вправо с вероятностью q и влево с вероятностью 1 – q. Выигрыш Алисы: UA = 0,25 pq + 0,70 p (1 − q) + 0,65 (1 − p)q + 0,10 (1 − p) (1 − q), Боба: UB = −UA. В равновесии ∂UA/∂p = 0 and ∂UB/∂q = 0, что дает p = 0,55 и q = 0,60.

36

Исходную задачу теории игр предложили Меррил Флуд и Мелвин Дрешер в RAND Corporation. Такер увидел матрицу выигрышей, зайдя к ним в кабинет, и предложил сопроводить ее «историей».

37

Специалисты теории игр обычно говорят, что Алиса и Боб смогли сотрудничать друг с другом (отказались давать показания) или предать подельника. Мне эти определения кажутся вводящими в заблуждение, поскольку «сотрудничество друг с другом» не тот выбор, который каждый агент может сделать индивидуально, а также из-за влияния общепринятого выражения «сотрудничать с полицией», когда за сотрудничество можно получить более легкий приговор и т. д.

38

Интересное решение на основе доверия для дилеммы заключенного и других игр см.: Joshua Letchford, Vincent Conitzer, and Kamal Jain, “An ‘ethical’ game-theoretic solution concept for two-player perfect-information games,” in Proceedings of the 4th International Workshop on Web and Internet Economics, ed. Christos Papadimitriou and Shuzhong Zhang (Springer, 2008).

39

Источник трагедии общих ресурсов: William Forster Lloyd, Two Lectures on the Checks to Population (Oxford University, 1833).

40

Современное рассмотрение темы в контексте глобальной экологии: Garrett Hardin, “The tragedy of the commons,” Science 162 (1968): 1243–48.

41

Весьма вероятно, что, даже если бы мы попытались создать интеллектуальные машины на основе химических реакций или биологических клеток, объединения этих элементов оказались бы реализацией машины Тьюринга нетрадиционным способом. Вопрос о том, является ли объект универсальным компьютером, никак не связан с вопросом о том, из чего он сделан.

42

Эпохальная статья Тьюринга дает определение понятию, в настоящее время известному как машина Тьюринга, основополагающему в компьютерной науке. Entscheidungsproblem, или проблема принятия решения, в названии статьи есть проблема выбора следования в логике первого порядка: Alan Turing, “On computable numbers, with an application to the Entscheidungsproblem,” Proceedings of the London Mathematical Society, 2nd ser., 42 (1936): 230–65.

43

Хорошее исследование отрицательной емкости от одного из ее изобретателей: Sayeef Salahuddin, “Review of negative capacitance transistors”, in International Symposium on VLSI Technology, Systems and Application (IEEE Press, 2016).