Искусственный интеллект. С неба на землю

То есть ИИ станет похожим на старика с деменцией, а срок «жизни» сильно сократится. Представьте, что может натворить сильный ИИ с его возможностями, но который при этом будет страдать потерей памяти и резкими откатами в состояние ребенка? Даже для текущих ИИ-решений это актуальная проблема.

Давайте приведем пару простых примеров из жизни.

Можно сравнить создание сильного ИИ с тренировкой мышц человека. Когда мы только начинаем заниматься в спортивном зале и увлекаться силовыми занятиями, бодибилдингом, то прогресс идет быстро, но чем дальше, тем ниже КПД и рост результатов. Нужно все больше ресурсов (времени, нагрузок и энергии из пищи) для прогресса. Да даже просто удержание формы становится все более сложной задачей. Плюс рост силы идет от толщины сечения мышцы, а вот масса растет от объема. В итоге мышца в определенный момент станет настолько тяжелой, что не сможет сама себя двигать, а может даже и сама себя повредить.

Еще один пример сложности создания, но уже из области инженерии – гонки Формулы 1. Так, отставание в 1 секунду можно устранить, если вложить 1 млн и 1 год. Но вот чтобы отыграть решающие 0,2 секунды, может потребоваться уже 10 млн и 2 года работы. А фундаментальные ограничения конструкции машины могут заставить вообще пересмотреть всю концепцию гоночной машины.

И даже если посмотреть на обычные машины, то все точно так же. Современные автомобили дороже и создавать, и содержать, а без специального оборудования невозможно поменять даже лампочку. Если взять современные гиперкары, то после каждого выезда требуются целые команды техников для обслуживания.

Если все же посмотреть с точки зрения разработки ИИ, то в этой области есть два ключевых параметра:

– количество слоев нейронов (глубина ИИ-модели);

– количество нейронов в каждом слое (ширина слоя).

Глубина определяет, насколько велика способность ИИ к абстрагированию. Недостаточная глубина модели влечет за собой проблему с неспособностью к глубокому системному анализу, поверхностности этого анализа и суждений.

Ширина слоев определяет число параметров / критериев, которыми может оперировать нейронная сеть на каждом слое. Чем их больше, тем более сложные модели используются и возможно более полное отражение реального мира.

При этом, если количество слоев линейно влияет на функцию, то ширина нет. В итоге мы и получаем ту аналогию с мышцей – размер топовых ИИ-моделей (LLM) переваливает за триллион параметров (по разным оценкам, GPT-5 обладает 3 трлн нейронов), но модели на 2 порядка меньше не имеют критического падения производительности и качества ответов. Важнее то, на каких данных обучена модель и имеет ли она специализацию.

Ниже приведена статистика для LLM моделей от разных производителей.

Сравните показатели LLaMa 2 70B, LLaMa 2 7B, LLaMa 2 13B. Показатели 7B, 13B и 70B условно демонстрируют сложность и обученность модели (7, 13 или 70 млрд параметров) – чем выше значение, тем лучше. Но как мы видим, качество ответов от этого радикально не меняется, в то время как цена и трудозатраты на разработку растут существенно.

Мы можем наблюдать, как лидеры наращивают вычислительные мощности, отстраивая новые дата-центры и в спешке решая вопросы энергоснабжения и охлаждения этих монстров. При этом повышение качества модели на условные 2% требует увеличения вычислительных мощностей на порядок.

Теперь практический пример к вопросу поддержания и обслуживания из-за деградации. Тут также будет заметно влияние людей. Любой ИИ, особенно на раннем этапе, будет обучаться на основе обратной связи от людей (их удовлетворенность, начальные запросы и задачи). Например, тот же ChatGPT4 использует запросы пользователей для дообучения своей модели, чтобы давать более релевантные ответы и при этом снизить нагрузку на «мозг». И в конце 2023 года появились статьи, что ИИ-модель стала «более ленивой». Чат-бот либо отказывается отвечать на вопросы, либо прерывает разговор, либо отвечает просто выдержками из поисковиков и других сайтов. Причем к середине 2024 года уже стало нормой, когда модель просто приводит выдержки из Википедии.

Одной из возможных причин этого является упрощение самих запросов от пользователей (они становятся все более примитивными). Ведь LLM не придумывают ничего нового, эти модели пытаются понять, чего вы хотите от них услышать и подстраиваются под это (проще говоря, у них также формируются стереотипы). Они ищут максимальную эффективность связки трудозатраты-результат, «отключая» ненужные нейронные связи. Это называется максимизацией функции. Просто математика и статистика.

Причем такая проблема будет характерна не только для LLM.

Таким образом, чтобы ИИ не стал деградировать, придется загружать его сложными исследованиями, при этом ограничивая его нагрузку примитивными задачами. А стоит его только выпустить в открытый мир, как соотношение задач будет в пользу простых и примитивных запросов пользователей или решения прикладных задач.

Вспомните себя. Действительно ли для выживания и размножения нужно развиваться? Или какое соотношение в вашей работе между интеллектуальными и рутинными задачами? А какого уровня математические задачи на этой работе вы решаете? Вам требуются интегралы и теория вероятности или же только математика до 9-го класса?

Второй фактор – количество данных и галлюцинации.

Да, мы можем увеличить текущие модели в ХХХХ раз. Но тому же прототипу ChatGPT5 уже в 2024 году не хватает данных для обучения. Ему отдали все, что есть. А сильному ИИ, который будет ориентироваться в неопределенности, на текущем уровне развития технологий просто не хватит данных. Необходимо собирать метаданные о поведении пользователей, думать, как обходить ограничения авторских прав и этические ограничения, собирать согласия пользователей.

Кроме того, на примере текущих LLM мы видим еще один тренд. Чем «всезнающее» модель, тем больше у нее неточностей, ошибок, абстракций и галлюцинаций. При этом, если взять базовую модель и дать ей в качестве знаний определенную предметную область, то качество ее ответов повышается: они предметнее, она меньше фантазирует (галлюцинирует) и меньше ошибается.

Третий фактор – уязвимость и затраты.

Как мы рассмотрели выше, нам потребуется создание дата-центра стоимостью в триллион долларов США. А его энергопотребление превысит всю текущую электрогенерацию США. А значит, потребуется и создание энергетической инфраструктуры с целым комплексом атомных электростанций. Да, ветряками и солнечными панелями эту задачу не решить.

Теперь добавим, что ИИ-модель будет привязана к своей «базе», и тогда одна удачная кибератака на энергетическую инфраструктуру обесточит весь «мозг».

А почему такой ИИ должен быть привязан к центру, почему нельзя сделать его распределенным?

Во-первых, распределенные вычисления все равно теряют в производительности и эффективности. Это разнородные вычислительные мощности, которые также загружены другими задачами и процессами. Кроме того, распределенная сеть не может гарантировать работу вычислительных мощностей постоянно. Что-то включается, что-то отключается. Доступная мощность будет нестабильной.

Во-вторых, это уязвимость перед атаками на каналы связи и ту же распределенную инфраструктуру. Представьте, что вдруг 10% нейронов вашего мозга просто отключилась (блокировка каналов связи или просто отключились из-за атаки), а остальные работают вполсилы (помехи и т.д.). В итоге снова имеем риск сильного ИИ, который то забывает, кто он, где он, для чего, то просто долго думает.

А уж если все придет к тому, что сильному ИИ потребуется мобильное (передвижное) тело для взаимодействия с миром, то реализовать это будет еще сложнее. Ведь как все это обеспечивать энергией и охлаждать? Откуда брать мощности для обработки данных? Плюс еще нужно добавлять машинное зрение и распознавание образов, а также обработку других датчиков (температура, слух и т.д.). Это огромные вычислительные мощности и потребность в охлаждении и энергии.

То есть это будет ограниченный ИИ с постоянным подключением к основному центру по беспроводной связи. А это снова уязвимость. Современные каналы связи дают выше скорость, но это сказывается на снижении дальности действия и проникающей способности, уязвимости перед средствами радиоэлектронной борьбы. То есть мы получаем рост нагрузки на инфраструктуру связи и рост рисков.

Тут можно, конечно, возразить. Например, тем, что можно взять предобученную модель и сделать ее локальной. Примерно так же, как я предлагаю разворачивать локальные ИИ-модели с «дообучением» в предметную область. Да, в таком виде все это может работать на одном сервере. Но такой ИИ будет очень ограничен, он будет «тупить» в условиях неопределенности и ему все равно нужна будет энергия и подключение к сети передачи данных. То есть это история не про создание человекоподобных суперсуществ.

Все это приводит к вопросам об экономической целесообразности инвестиций в это направление. Тем более с учетом двух ключевых трендов в развитии генеративного ИИ:

– создание дешевых и простых локальных моделей для решения специализированных задач;

– создание ИИ-оркестраторов, которые будут декомпозировать запрос на несколько локальных задач и затем перераспределять это между разными локальными моделями.

Таким образом, слабые модели с узкой специализацией останутся более свободными и простыми для создания. При этом смогут решать наши задачи. И в итоге мы имеем более простое и дешевое решение рабочих задач, нежели создание сильного ИИ.

Конечно, мы выносим за скобки нейроморфные и квантовые системы, но мы эту тему рассмотрим чуть ниже. И, естественно, в моих отдельных цифрах и аргументах могут быть ошибки, но в целом я убежден, что сильный ИИ – не вопрос ближайшего будущего. А все разговоры о нем – лишь способы поддержания внимания и привлечения инвестиций.

Если резюмировать, то у сильного ИИ есть несколько фундаментальных проблем.

– Экспоненциальный рост сложности разработки и противодействия деградации сложных моделей.

– Недостаток данных для обучения.

– Стоимость создания и эксплуатации.

– Привязанность к ЦОДам и требовательность к вычислительным ресурсам.

– Низкая эффективность текущих моделей по сравнению с человеческим мозгом.

Именно преодоление этих проблем определит дальнейший вектор развития всей технологии: либо все же сильный ИИ появится, либо мы уйдем в плоскость развития слабых ИИ и ИИ-оркестраторов, которые будут координировать работу десятков слабых моделей.

Но сейчас сильный ИИ никак не вяжется с ESG, экологией и коммерческим успехом. Его создание возможно только в рамках стратегических и национальных проектов, финансируемых государством. И вот один из интересных фактов в данном направлении: бывший глава Агентства национальной безопасности США (до 2023 года), генерал в отставке, Пол Накасоне в 2024 году вошел в совет директоров OpenAI. Официальная версия – для организации безопасности Chat GPT.

Также рекомендую прочитать документ под названием «Осведомленность о ситуации: Предстоящее десятилетие». Его автор – Леопольд Ашенбреннер, бывший сотрудник OpenAI из команды Superalignment. Документ доступен по QR-коду и гиперссылке.

SITUATIONAL AWARENESS

Также сокращенный разбор этого документа доступен по QR-коду и гиперссылке ниже.

Разбор документа про AGI от Леопольда Ашенбреннера, бывшего сотрудника OpenAI

Если совсем упростить, то ключевые тезисы автора:

– К 2027 году сильный ИИ (AGI) станет реальностью.

Я с этим утверждением не согласен. Мои аргументы приведены выше, плюс некоторые тезисы ниже и описания рисков от авторов говорят о том же. Но опять же, что понимать под термином AGI? Свое определение я уже привел, но единого термина нет.

– AGI сейчас – ключевой геополитический ресурс. Забываем про ядерное оружие, это прошлое. Каждая страна будет стремиться получить AGI первой, как в свое время атомную бомбу.

Тезис спорный. Да, это отличный ресурс. Но как мне кажется, его значение переоценено, особенно с учетом сложности создания и обязательных будущих ошибок в его работе.

– Для создания AGI потребуется единый вычислительный кластер стоимостью в триллион долларов США. Такой уже строит Microsoft для OpenAI.

Помимо вычислительных мощностей нужны еще затраты на людей и решение фундаментальных проблем.

– Этот кластер будет потреблять больше электроэнергии, чем вся выработка США.

Этот тезис мы разобрали выше. Помимо триллиона долларов еще и инвестиции в электрогенерацию, а также появляются риски.

– Финансирование AGI пойдет от гигантов технологий – уже сегодня Nvidia, Microsoft, Amazon и Google выделяют по $100 миллиардов за квартал только на ИИ.

Считаю, что без государственного финансирования и, следовательно, вмешательства тут не обойтись.

– К 2030 году ежегодные инвестиции в ИИ достигнут $8 триллионов.

Отличное наблюдение. Теперь возникает вопрос, оправдано ли это экономически?

Несмотря на весь оптимизм Леопольда Ашенбреннера в области сроков создания AGI, он сам отмечает ряд ограничений:

– Недостаток вычислительных мощностей для проведения экспериментов.

– Фундаментальные ограничения, связанные с алгоритмическим прогрессом

– Идеи становятся все сложнее, поэтому вероятно ИИ-исследователи (ИИ-агенты, которые будут проводить исследования за людей) лишь поддержат текущий темп прогресса, а не увеличат его в разы. Однако Ашенбреннер считает, что эти препятствия могут замедлить, но не остановить рост интеллекта ИИ систем.

В завершение еще добавлю один факт. Сэм Альтман, глава Open AI, в 2025 году уже начал выдвигать мнение, что термин AGI слишком неопределенный и нужно его заменить.

Ко-пилоты, ИИ-агенты и мультиагентные системы

Еще одно направление, которое вы можете встретить и вокруг которого много шума – ко-пилоты, ИИ-агенты и мультиагентные системы.

Обычный чат-бот или сервис, который работает, когда вы его об этом просите и лишь дает рекомендации – это ИИ-ассистент.

Ко-пилот – это решение, которое может автоматизировать отдельные задачи под надзором человека. Например, человек диктует что хочет сделать, а ИИ пишет код или делает презентацию.

ИИ-агент – это ИИ, который может работать автономно и взаимодействовать самостоятельно с другими ИТ-решениями или оборудованием. То есть это расширение возможностей для принятия решений и взаимодействия с внешней средой.

Например, чат-бот на портале банка может спросить клиента, ищет ли он информацию об оплате счетов, тарифах на услуги или увеличении кредитного лимита. А затем через наводящие вопросы, собирая информацию из документов и профиля клиента, бот может предложить ему решение его проблемы. Также он может передать вопрос нужному человеку, если не может решить проблему известными методами.

Такой же подход развивается в направлении технической поддержки ИТ-служб для сотрудников – консультация, а если решения нет, то автоматическое направление задачи необходимому сотруднику со всей историей.

Мультиагентные системы – то же самое, что и агенты, только у нас появляется целое сочетание ИИ-агентов, которые взаимодействуют между собой, и вы их балансируете, устраняете «конфликты» между ними.

Причем, как показывают различные исследования, проблемы в таких системах идентичны тем, что возникают при проектировании организации и взаимодействии людей. Тут необходимо отработать целый ряд факторов:

– набор параметров и ресурсов, с которыми предстоит взаимодействовать;

– модель ролей и взаимодействия – кто, с кем и зачем, с какими целями и возможностями взаимодействует;

– организационные правила – возможные сочетания ролей внутри одного агента;

– организационная структура – топология и модель управления.

То есть, чтобы спроектировать мультиагентную систему, нужно научиться проектировать взаимодействие людей. Потенциал огромен, как и риски, ведь последствия могут быть критическими. Об этом мы поговорим чуть позже.

Поделюсь классификацией ИИ, которую увидел в ИИ-кластере в Пекине (технопарк Чжунгуаньцунь – Zhongguancun).

Классификация ИИ в китайской модели

Они делят ИИ на 5 уровней:

– чат-боты и ассистенты, например, отвечающие по базам знаний (в их маркировке L1);

– рассуждающие модели, которые могут искать сложные решения на неоднозначные вопросы, используя логику (L2);

– создание агентов, способных роботизировать процесс и заменить человека в типовой задаче (например, в середине 2025 года даже лучшие агенты справляются с типовыми задачами без ошибок в 24% случаев) (L3);

– новаторы, которые способны к анализу и созданию нового (L4);

– организованный ИИ, который будет объединять несколько ИИ-моделей и сможет решать нетиповые и сложные задачи, в общем, это мультиагентные системы (L5);

– сильный/общий ИИ, который способен заменить человека и может решать междисциплинарные задачи.

Но это все общее видение, а в реальности в 2025 году мы только пробуем L3, хотя даже L2 работает со сбоями, а в компаниях и бизнесе с их огромной бюрократической инерцией все еще идет базовое осваивание L1.