Если назвать этап просветления искусственного интеллекта версией 1.0, то машинный перевод будет следующим – 2.0. Раньше методы машинного перевода основывались на наборе слов и правил. Люди постоянно суммировали грамматические правила, но это не помогло усовершенствовать перевод. С человеческим языком машины не справляются. Особенно, когда речь идет о переводе в контексте. Например, фраза «how old are you».
Позднее появился SMT (статистический машинный перевод). Его основная идея заключается в том, чтобы посредством статистического анализа выявить общие правила использования слова или словосочетания и попытаться избежать появления нелогичных фраз. SMT имеет основные функции машинного обучения – обучение и декодирование. Этап обучения позволяет компьютеру построить модель перевода с помощью статистических данных, а затем использовать ее для перевода. Этап декодирования использует расчетные параметры, чтобы получить наиболее подходящий результат от перевода.
Исследование SMT продолжается уже более 20 лет. Для фраз и коротких предложений уже достигнут значительный прогресс. Но перевод длинных предложений, особенно со сложных языков, вроде китайского или английского, все еще оставляет желать лучшего. До недавнего времени никто не задумывался о подходе NMT (переводе, основанном на нейронных сетях). В его основе – нейронная сеть с бесчисленным количеством узлов. Исходное предложение векторизуется и передается через средний слой сети компьютеру в виде выражения, понятного для него. Затем проходит сквозь многослойную операцию и переводится на другой язык.
При таком переводе объем данных должен быть огромным, иначе система окажется бесполезной. Поисковые системы, вроде Baidu или Google, могут собирать перевод из огромного количества человеческих высказываний в интернете. Только такие объемы данных способны прокормить NMT. Система сможет самостоятельно отладить механизм перевода. И результат будет лучше, чем при SMT. Особенно, если будет достаточно информации на языке перевода.
SMT использует локальную информацию. Фраза расчленяется на сегменты. Сегменты обрабатываются и переводятся. И только потом сшиваются вместе. NMT использует общую информацию. Система кодирует фразу полностью (как люди во время перевода сначала читают предложение целиком). А потом на основе закодированной информации генерирует перевод. За счет этого достигается более высокий уровень читаемости текста.
Например, один из важных аспектов в переводе – порядок слов. Китайцы размещают определения перед определяемым словом. А в английском определение находится после. Машины часто путают этот порядок. Преимущество NMT в его способности к обучению порядку слов в языке. Это обеспечивает плавность перевода в длинных предложениях.
Традиционные методы перевода не бесполезны. Каждый из них выполняет свою функцию. Например, при переводе идиом нельзя использовать дословный перевод. Они всегда имеют устойчивое значение. Потребности пользователей интернета разнообразны: перевод разговорного языка, резюме, новостей и прочего. Поэтому одним методом сложно удовлетворить все запросы. Baidu сочетает в себе сразу несколько традиционных методов перевода: перевод, основанный на грамматических правилах, на примерах, на статистике и на нейронных сетях.
В такой модели машинного перевода человек не ищет грамматические правила, а устанавливает математические модели и параметры, чтобы помочь компьютерной сети выявить правила самостоятельно. Когда человек вводит предложение и получает на выходе его перевод, он не думает, что происходит в середине цепочки. Это называется сквозным переводом. Этот удивительный подход называется байесовским, или скрытой марковской моделью. Для решения проблемы здесь используется теория вероятностей.
С помощью байесовского метода распределения информации можно построить модель личности по вероятностным характеристикам. Например, модель мужчины предполагает, что при чтении новостей он остановится на чтении статей, посвященных войне с вероятностью в 40 %. Женская модель – только 4 %. После того как читатель выберет военные новости, в соответствии с формулой Байеса (рис. 1-2), можно более точно рассчитать его пол и другие характеристики, используя другие поведенческие данные и комплексные расчеты. Это «волшебство» математики. Но, конечно, компьютерные нейронные сети используют не только математические методы.
Рис. 1-1. Байес и байесовская формула[2 - Используется для представления условной вероятности случайных событий A и B, где P (A | B) – это вероятность того, что в случае B произойдет А.]
Метод использования искусственного интеллекта, подобный машинному переводу, предполагает использования огромных объемов информации. Интернет сейчас способен такие объемы предоставить. Раньше ученые только мечтали о них.
Интернет был создан для того, чтобы облегчить обмен информацией. В результате произошел информационный взрыв, который способствовал ускорению развития искусственного интеллекта.
В качестве доказательства приведу игру в шахматы. В 1952 году сир Сэмюэл написал программу для игры в шашки, чтобы повысить уровень собственного мастерства. Правила игры были относительно просты. И в этом отношении у компьютера было внушительное преимущество перед человеком. Но правила шахмат гораздо сложнее. Когда президент Baidu Чжан Яцин был директором института Microsoft, он пригласил на работу талантливого компьютерщика Сюй Фэн Сюна родом из Тайваня. Этот специалист во времена IBM (International Business Machines Corporation) разработал известного робота под названием «Шахматы втемную». В 1990-х гг. искусственный интеллект не представлял собой разновидность «Шахмат втемную». Его «мудрость» была заключена в суперкомпьютере (с использованием нескольких процессоров и параллельных вычислительных технологий), благодаря которому ИИ побеждал людей-шахматистов, а в 1997 году выиграл партию у Каспарова, чемпиона мира по шахматам. Вскоре после известной игры IBM отправила технологию «Шахматы втемную» в отставку. Чжан Яцин сказал Сюй Фэн Сюну: «Изобрети технологию для игры в Го, а потом найди меня и выиграй». Пока Чжан Яцин не покинул Microsoft, Сюй Фэн Сюн его так и не искал.
Технология «Шахматы втемную» сталкивается с некоторыми трудностями, которые на сегодняшний день не могут быть преодолены. Достичь прорыва в этом направлении так же сложно, как покорить Вселенную. Модель, которая опирается на алгоритм дерева решений, исчерпывает свои возможности и выходит за пределы пропускной способности компьютера. Алгоритм постоянно совершенствуется, но проблему в вычислениях решить пока не удается. У искусственного интеллекта есть все предпосылки для того, чтобы быть устойчивым перед лицом восточной мудрости. И новая эра уже не за горами.
Интернет-конференция
Технология «Шахматы втемную» представляла собой модель искусственного интеллекта, но, кажется, не имела ничего общего с интернетом. Но развитие облачных вычислений и возможности управления большими объемами информации наконец-то объединили ИИ и интернет в одну устойчивую технологию, которая существенно отличается от «Шахмат втемную». Распределенные вычисления в сочетании с большими объемами информации и новым алгоритмом принятия решений демонстрируют успешное сочетание человеческого и машинного интеллекта.
В 2016-2017 годах AlphaGo (программа для игры в го) всколыхнула человечество. Процесс ведения игры AlphaGo отличается и от человеческого мышления, и от «Шахмат втемную». Проще говоря, механизм питается десятками миллионов человеческих шахматных партий. Выражаясь более профессионально, успеху AlphaGo способствовали алгоритм поиска Монте-Карло и механизм распознавания образов, основанные на глубоком обучении. Однако ни его предшественники, ни «Шахматы втемную» к технологии глубоко обучения отношения не имели.
Согласно исследованиям, AlphaGo не изобретает собственный механизм игры, а изучает десятки миллионов игроков (массивы данных). Он запоминает каждый ход, каждую игру из миллионов ситуаций и использует данные для обучения с помощью нейронной сети. Все это делается для того, чтобы иметь возможность предсказать, как мастер-человек сумеет выйти из той или иной ситуации. На практике компьютер анализирует текущую ситуацию и находит ее аналоги в прошлом. Затем ищет возможные варианты развития и выбирает несколько наиболее оптимальных. Таким образом, вместо того, чтобы пробовать все возможные варианты, он останавливается на наиболее выгодных. Тем самым сокращает объем вычислений. Система не истощается и получает защиту от поражения. Этот подход похож на человеческий. Мы не пробуем все подряд, а выбираем несколько вариантов, опираясь на опыт и чувства. Но после того, как сделаем свой выбор, мы все еще должны производить подсчеты и сравнения в поисках оптимального хода. Машина же передаст эти расчеты алгоритму поиска Монте-Карло.
Ниже я использую метафору. Она не точная, но достаточно понятная.
Поиск решения по методу Монте-Карло – это оптимизация предыдущего алгоритма дерева решений. Предыдущий алгоритм, даже если он предоставлял качественный вариант решения задачи, должен был быть единственным в каждой точке для того, чтобы выбрать следующую ветвь с бесконечным множеством менее рациональных вариантов решения.
Метод Монте-Карло основывается на тонкостях теории вероятности. Представим шахматную ситуацию, где сеть глубокого обучения дает три возможных варианта на ход – А, В, С. Три точки в качестве корневого узла можно представить, как три дерева, каждое из которых имеет бесконечное число ветвей. Метод Монте-Карло не проверяет каждую из ветвей, но отправляет три миллиона муравьев по одному на каждую ветвь, чтобы те быстро поднялись на верхушку дерева (то есть, чтобы они шли до тех пор, пока не доберутся до варианта, который обеспечит победу). Некоторые из них доберутся до победной точки. Предполагается, что все муравьи ищут наиболее эффективное решение, а не вариант, в котором партия завершится поражением.
Предположим, что из 1 миллиона муравьев, которые отправились по ветке А, только 300 тысяч дошли до победного конца. По ветке В – 500 тысяч. По ветке С – 400 тысяч. Система понимает, что вероятность победы на ветке В гораздо выше, и выбирает именно этот вариант хода. Таким образом, вероятностный метод значительно сокращает количество вычислений по сравнению с методом исчерпывания.
Почему мы отправляем именно 1 миллион муравьев для исследований, а не 100 тысяч или не 10 миллионов? Это зависит от вычислительной мощности компьютера и приблизительной оценки конкурентов. Если в данной ситуации, чтобы получить более высокий коэффициент выигрыша нам требуется только 100 тысяч муравьев, мы отправим 100 тысяч. Но чем больше муравьев отправляются на дерево в одно и то же время, тем выше требования к вычислительной мощности компьютера.
Чип процессора и графический процессор (GPU), нейронные сети и метод Монте-Карло создают возможности, которые не могут сравниться с человеческими. В результате глубокого обучения искусственный интеллект моделирует способности человека, которые аналогичны сумме способностей 10 миллионов шахматистов.
Умные читатели, даже не понимая математическую теорию, способны уловить механизм работы AlphaGo. Хотя алгоритмы и стратегии гораздо сложнее, чем описано выше. AlphaGo на своем примере демонстрирует уровень развития глубокого обучения и искусственного интеллекта. Но на самом деле, на сегодняшний день существует множество научно-исследовательских институтов и талантливых ученых, которые делают сверхъестественные вещи в данном направлении.
После того, как поведение человека начало фиксироваться в виде данных посредством интернета, у искусственного интеллекта появилось полноценная пища, чтобы идти в ногу с человечеством и помогать ему во всех сферах жизни. Машинный перевод, распознавание речи, изображений опираются на клики пользователей Интернета. Почему точность поисковой системы Baidu трудно сравнить с другими поисковыми системами? Потому что Baidu обладает самым большим объемом данных, самым продвинутым алгоритмом принятия решений и самой сильной командой. Каждый клик пользователя тренирует мозг Baidu и рассказывает о том, что человек хочет больше всего.
Когда искусственный интеллект переживал этап застоя, люди думали, что машина никогда не сможет думать так же, как человек. Но после 1990-х мы поняли, что машина и не должна думать так же, пока мы в состоянии сами решить свои проблемы. У лингвиста Хомского спросили: «Может ли машина думать?» Это был позаимствованный датским компьютерным ученым Дикстра риторический вопрос: «Будет ли подводная лодка плавать?» Ответ был такой: «Подводная лодка не плавает, как рыба или человек, но ее способности очень высоки».
Если мы оглянемся назад (не только на историю развития интернета), то поймем, что вся история развития промышленности – это шаги по направлению к развитию искусственного интеллекта. Кевин Келли отмечал, что самоприводящийся поршень парового двигателя уже представляет собой конструкцию, которая содержит элементы «эволюции». Стремление к автоматизации – эволюционная сила ИИ.
Когда началась промышленная революция, паровой двигатель появился в угольных шахтах и ямах. Эффективность двигателя пара была низкая, энергия, особенно при добыче угля, требовалась значительная, и спрос на дешевую рабочую силу сохранялся существенный. Дело в том, что при добыче угля использовалось много воды. А вода, в свою очередь, была топливом для парового двигателя. После того, как в шахтах впервые была применена новая технология, она постоянно продолжала совершенствоваться для содействия промышленной революции. С искусственным интеллектом то же самое: данные – это топливо для двигателя искусственного интеллекта, а когда ИИ получает достаточное количество данных, он может работать дальше.
Без накопления данных о деятельности человека компьютер не может стать объектом обучения. Это стало возможным благодаря развитию интернета и развитию методов сбора информации. А также благодаря исследователям ИИ, не все из которых являются учеными в сфере компьютерных технологий. Некоторые из них проводят биологические исследования, некоторые – инженерные. Некоторые изучают математику, архитектуру компьютерных чипов или автоматизированную итеративную оптимизацию компьютерных программ. Но однажды результаты изысканий сходятся в одной точке. И на этом месте рождается искусственный интеллект.
Сплотились, чтобы конкурировать
В 2016 году AlphaGo вызвала настоящую сенсацию в средствах массовой информации. Но, это была несколько запоздалая реакция. Гигант искусственного интеллекта Джефри Хинтон еще в 2007 году отмечал, что «вот-вот разразится буря».
В тот год один из студентов Хинтона с помощью Google Big Data применил исследования своего учителя к технологии распознавания речи и добился значительного успеха. Корифей ИИ только воскликнул: «Оказывается, моя неудача была вызвана исключительно отсутствием объема данных и необходимой вычислительной мощности!»
Искусственный интеллект уже готов войти во второе десятилетие XXI века. С 2015 года началась эра бизнес-конкуренции в сфере ИИ. По данным анализа сферы искусственного интеллекта, опубликованного инвестиционным агентством США CB Insights, объем инвестиций в ИИ превысил $1 млрд уже в первом квартале 2016 года, а за два квартала осуществлено 121 финансирование. За аналогичный период в 2011 произошло всего 21 вливание. Со второго квартала 2011 по второй квартал 2016 объем инвестиций превысил $7,5 млрд, 6 из которых поступили после 2014 года.
«Wuzhen Index: глобальный отчет о развитии искусственного интеллекта» демонстрирует, что в течение первых двух кварталов 2016 года в Китае число интеллектуальных предпринимательских компаний увеличилось более чем на 60. А объем инвестиций достиг $600 млн. В прошлом году Китай вложил 202 инвестиции в искусственный интеллект, что в общей сложности составляет $1 млрд (или около 6,8 млрд юаней). Рынок огромен.
Рис. 1-2. Количество и частота инвестиций в ИИ
Источник: www.cbinsights.com
В 2016 году вице-президент Китайской академии наук и вице-президент китайского общества искусственного интеллекта, академик Тан Тин Бин, отметил, что в 2015 году стоимость мирового рынка искусственного интеллекта составляла $127 млрд. В 2016, по прогнозам специалистов, она достигнет $165 млрд. А к 2018 перешагнет за отметку в $200 млрд.
Китай, Соединенные Штаты и Великобритания – три передовые страны в развитии ИИ. США – источник интернета и искусственного интеллекта. Они обладают уникальными талантами, сильной технической базой и огромным финансированием научных исследований, что делает их лидером в данной области. Помимо Google, Facebook, Microsoft, Amazon, IBM, Apple и других гигантов информационных технологий, в Америке сотни крупных и малых компаний, которые также специализируются на бизнесе ИИ. Например, компания X.AI провела три этапа финансирования, которые в совокупности достигают $3,400 млн. Великобритания продолжает традиции старой школы даже в условиях сокращения производства. Сейчас все таланты собрались в области искусственного интеллекта. Одним из примеров является компания Deep Mind, которая продолжает работу над AlphaGo.
Amazon запустила голосовой помощник Alexa и умную колонку Echo, конкурируя с Apple, Google и Microsoft в сфере голосового поиска. В июне 2016 президент Amazon в своем интервью с американским IT-блогером Уолтом Мосбергом подчеркнул, что инвестиции компании в течение 4 лет вливались только в ключевые проекты в сфере ИИ. «В команду Amazon, занятую в работе над ИИ проектами, входило свыше 1000 человек. И это всего лишь верхушка айсберга».
В сентябре 2016 года Microsoft объявила о создании новой бизнес-группы по разработке искусственного интеллекта под руководством вице-президента Гарри Шума. Он возглавляет тысячи компьютерных ученых и инженеров, которые интегрируют искусственный интеллект в продукты компании. Среди продуктов: Bing Search Engine (Bing), Xiao Na Digital Assistant и Robotics Project. В конце года Microsoft выпустила сервис, который способен развивать чат-ботов и объявила, что она будет предоставлять услуги процессора для открытой лаборатории искусственного интеллекта AI, соучредителя Сэма Альтмана, президента Elon Musk и инкубатора стартапа YCombinator.
Facebook также имеет свою собственную лабораторию искусственного интеллекта и команду, похожую на Google Brain, т. е. использующую технологии машинного обучения. Миссия организации состоит в том, чтобы продвигать технологии искусственного интеллекта в различных продуктах Facebook. По словам Майка Шропфера, главного технического директора компании, «в настоящее время около 1/5 инженеров используют технологию машинного обучения».
Владелец AlphaGo, Google, конечно, не будет довольствоваться игрой в шахматы. Его искусственный интеллект продолжает развиваться на протяжении многих лет. В 2012 году у Google было два проекта, основанных на технологии глубокого обучения. К концу 2016 года этот показатель превысил 1000. В настоящее время многие продукты Google, такие как поисковая система, операционная система Android, бесплатный сервис электронной почты Gmail, онлайн-переводчик, онлайн-карты, видеохостинг YouTube, имеют некоторые свойства глубокого обучения.
Китай имеет огромные возможности для развития IT-бизнеса, значительное количество пользователей, внушительный массив данных и большую группу талантливых специалистов. Это позволяет ускорить темп развития ИИ. BAT (Baidu, Alibaba, Tencent), Huawei и некоторые другие гиганты заняли далеко не все сферы искусственного интеллекта, где можно реализоваться компаниям. Поэтому малый, средний и крупный бизнес продолжают выходить на арену ИИ. В 2016 году на форумах, будь то электронная коммерция, социальные медиа или поисковые системы, руководители интернет-компаний переводят тему разговора на искусственный интеллект. Сообщают о больших и малых достижениях.
В 2016 году точность распознавания речи Baidu достигла 97 %. А точность распознавания лиц – 99,7 %. Облако Baidu Brain, платформы Tianji, Tianxiang, Tiangong и Tianzhi последовательно открыли технологии и возможности Baidu Brain для всего общества.
Сверхмощный мозг
Более десяти лет назад немногие настаивали на развитии машинного обучения. Поэтому технология превратилась в настоящее сокровище. Но после всплеска интереса к сфере искусственного интеллекта самым дефицитным ресурсом стали талантливые специалисты.
Знания, на которые опирается развитие ИИ, имеют большое значение и для фундаментальных дисциплин науки, таких как математика и биология. Поэтому ученые, которые были бы одновременно сведущи в сфере искусственного интеллекта и в фундаментальных отраслях науки – большая редкость. В год выпускается чуть меньше 200 докторов и аспирантов, которые способны принять участие в национальных исследованиях или стартапах. Этого количества катастрофически не хватает. В 2015 году волнение в отрасли вызвала компания Uber, которая переманила 40 из 140 исследователей из Национального института робототехники Университета Карнеги-Меллона.
И это далеко не вся борьба за таланты. Практикующие специалисты более чувствительны к потоку академических кадров. За последние несколько лет из «башни слоновой кости» вышли многие академические звезды и прыгнули в прикладные исследования с парашютом. Они рисковали для того, чтобы простые люди могли заметить действительные изменения в сфере развития искусственного интеллекта. Но куда идти, чтобы в полной мере реализовать свои способности и не увязнуть в потоке, все еще остается проблемой.
Baidu является представителем китайской индустрии искусственного интеллекта. И большое количество талантов занимало или занимает достойное место в нашей команде. Ван Хайфэн работал в Baidu до перехода в Microsoft. Ву Энда появился в Baidu из Соединенных Штатов. Чжан Яцинь поменял Microsoft на Baidu. Линь Юаньцин, гигант в сфере искусственного интеллекта, занял должность директора лаборатории глубокого обучения Baidu по возвращении из Америки. Сегодня в компании есть необходимые талантливые специалисты, чтобы создавать собственные приложения с функциями ИИ. Baidu – это воплощение динамизма Китая в отношении привлечения и обучения ученых для работы в сфере искусственного интеллекта.
