Искусственный интеллект. С неба на землю
Высокий риск – специализированные ИИ-системы, которые оказывают влияние на людей. Например, решения в области медицины, образования и профессиональной подготовки, трудоустройства, управления персоналом, доступ к основным частным и государственным услугам и льготам, данные правоохранительных органов, данные миграционных и пограничных служб, данные институтов правосудия.
Поставщики и разработчики «высоко рискового» ИИ обязаны:
– провести оценку риска и соответствия;
– зарегистрировать свои системы в европейской базе данных ИИ;
– обеспечить высокое качество данных, которые используются для обучения ИИ;
– обеспечить прозрачность системы и информированность пользователей о том, что они взаимодействуют с ИИ, а также обязательный надзор со стороны человека и возможность вмешательства в работу системы.
Неприемлемый риск – алгоритмы для выставления социального рейтинга или создания дипфейков, системы, использующие подсознательные или целенаправленные манипулятивные методы, эксплуатирующие уязвимости людей.
Системы ИИ с неприемлемым уровнем риска для безопасности будут запрещены.
Также компании, которые разрабатывают модели на базе генеративного ИИ (может создавать что-то новое на основе алгоритма), должны будут составить техническую документацию, соблюдать законодательство ЕС об авторском праве и подробно описывать контент, используемый для обучения. А наиболее продвинутые модели, которые представляют «системные риски», подвергнутся дополнительной проверке, включая сообщения о серьезных инцидентах, внедрение мер кибербезопасности и отчетность об энергоэффективности. И, конечно, разработчики обязаны информировать пользователей о том, что они взаимодействуют с ИИ, а не с человеком.
Также для ИИ запретили:
– сбор и обработку биометрических данных, в том числе в общественных местах в реальном времени, с исключением для правоохранительных органов и только после судебного разрешения;
– биометрическую категоризацию с использованием чувствительных характеристик (например, пол, раса, этническая принадлежность, гражданство, религия, политическая позиция);
– подготовку прогнозов для правоохранительных органов, которые основаны на профилировании, местоположении или прошлом криминальном поведении;
– распознавание эмоций в правоохранительных органах, пограничных службах, на рабочих местах и в учебных заведениях;
– неизбирательное извлечение биометрических данных из социальных сетей или видеозаписей с камер видеонаблюдения для создания баз данных распознавания лиц (нарушение прав человека и права на неприкосновенность частной жизни).
В декабре 2023 года этот закон был согласован окончательно.
США
В октябре 2023 года вышел указ президента США, согласно которому разработчики самых мощных систем ИИ должны делиться результатами тестирования на безопасность и другой важной информацией с правительством США. Также указ предусматривает разработку стандартов, инструментов и тестов, призванных помочь убедиться в безопасности систем ИИ.
Китай
Переговоры OpenAI, Anthropic и Cohere с китайскими экспертами
Американские компании OpenAI, Anthropic и Cohere, занимающиеся разработкой искусственного интеллекта, провели тайные дипломатические переговоры с китайскими экспертами в области ИИ.
Переговоры между председателем КНР Си Цзиньпинем и президентом США Джо Байденом
15 ноября 2023 года, во время саммита Азиатско-Тихоокеанского экономического сотрудничества (АТЭС) в Сан-Франциско, лидеры двух стран договорились о сотрудничестве в нескольких значительных сферах, в том числе в области разработки ИИ.
Правила по регулированию ИИ
В течение 2023 года китайские власти вместе с бизнесом разработали 24 новых правила регулирования ИИ (введены 15 августа 2023 года).
Цель – не препятствовать развитию технологий искусственного интеллекта, поскольку для страны эта отрасль крайне важна. Необходимо найти баланс между поддержкой отрасли и возможными последствиями развития ИИ-технологий и соответствующей продукции.
Сами правила можно прочитать по QR-коду и гиперссылке.
Регулирование ИИ (AI)
Сам документ также можно скачать по QR-коду и гиперссылке.
2023 Новые правила в области искусственного интеллекта в Китае/China’s New AI Regulations, Latham&Watkins
Как и в Европе, нужно регистрировать услуги и алгоритмы на базе искусственного интеллекта, а сгенерированный алгоритмами контент (в том числе фото и видео), нужно помечать.
Также создатели контента и алгоритмов должны будут проводить проверку безопасности своей продукции до ее вывода на рынок. Каким образом это будут реализовать – пока не определено.
Плюс ко всему, компании, связанные с ИИ-технологиями и генерированным контентом, должны иметь прозрачный и действенный механизм рассмотрения жалоб пользователей на услуги и контент.
При этом самих регуляторов будет семь, в том числе Государственная канцелярия Интернет-информации КНР, министерство образования, министерство науки и технологий, национальная комиссия по развитию и реформам.
Декларация Блетчли
В ноябре 2023 года 28 стран, участвовавших в Первом международном саммите по безопасному ИИ, включая Соединенные Штаты, Китай и Европейский союз, подписали соглашение, известное как Декларация Блетчли.
Она призывает к международному сотрудничеству. Акцент сделан на регулировании «Пограничного искусственного интеллекта». Под ним понимают новейшие и наиболее мощные системы и ИИ-модели. Это вызвано опасениями, связанными с потенциальным использованием ИИ для терроризма, в преступной деятельности и для ведения войн, а также экзистенциальным риском, представляемым для человечества в целом.
Россия
В 2024 году основными документами в сфере ИИ были:
– Указ Президента РФ от 10 октября 2019 г. №490 «О развитии искусственного интеллекта в Российской Федерации», который вводит Национальную стратегию развития искусственного интеллекта на период до 2030 года
– Федеральный закон от 24.04.2020 №123-ФЗ «О проведении эксперимента по установлению специального регулирования в целях создания необходимых условий для разработки и внедрения технологий искусственного интеллекта в субъекте Российской Федерации – городе федерального значения Москве и внесении изменений в статьи 6 и 10 Федерального закона «О персональных данных»
– Распоряжение Правительства Российской Федерации от 19.08.2020 г. №2129-р «Об утверждении Концепции развития регулирования отношений в сфере технологий искусственного интеллекта и робототехники до 2024 года»
– Ряд государственных стандартов по отраслям.
Интересным также выглядит предложение Центрального Банка Российской Федерации, который намерен поддержать риск-ориентированный принцип регулирования ИИ на финансовом рынке. Он выделил два направления: ответственность за вред, причиненный в результате применения технологии, и защиту авторских прав.
ЦБ не видит необходимости в оперативной разработке отдельного регулирования использования ИИ финансовыми организациями. Но это и не исключает внедрение специальных требований в отдельных случаях.
Например, один законопроект устанавливает порядок обезличивания персональных данных для операторов, не являющихся государственными органами, а другой – дает возможность финансовым организациям при аутсорсинге функций, связанных с использованием облачных услуг, передавать для обработки информацию, составляющую банковскую тайну.
Главным ресурсом для отслеживания регуляторики в сфере ИИ является портал Искусственный интеллект в Российской Федерации. В частности, раздел Регуляторика.
В 2025 году в России началась активная работа над созданием закона о регулировании ИИ. Как и в других странах, одним из обязательных требований стала маркировка систем ИИ и результатов их использования. Также идет обсуждение возможности запрета высокорискованных решений.
Самое важное – распределение ответственности между разработчиками и пользователями систем ИИ. Согласно проекту закона, причинение вреда при использовании систем ИИ лежит в первую очередь на пользователях. Они должны использовать ИИ осмотрительно.
Конечно, в законе будут определения основных понятий (искусственный интеллект, технологии искусственного интеллекта, система искусственного интеллекта, генеративный искусственный интеллект), обозначены роли и статус разработчиков, операторов и пользователей систем ИИ, затронуты вопросы защиты интеллектуальных прав. В проекте закона приводится разграничение между результатами, созданными с помощью генеративного ИИ, и результатами, созданными с существенным личным творческим вкладом человека.
Так, например, имущественное право на результат, автоматически созданный генеративным ИИ, принадлежит оператору системы (пользователю), а срок его действия ограничен 10 годами.
Прогноз на будущее
Что же следует ожидать в будущем?
– Международный контроль и правила
Без сомнения, будут созданы международные органы для выявления ограничений и создания классификации ИИ-решений.
– Национальные органы контроля и правила
Государства будут создавать свои модели регулирования ИИ. В целом я согласен с выводами ЦБ РФ, но считаю, что появится больше подходов. Если их объединить, то вероятнее всего:
– определят запрещенные отрасли или типы ИИ-решений;
– для высокорискованных решений или отраслей будут созданы правила лицензирования и тестирования на безопасность, в том числе будут введены ограничения на возможности ИИ-решений;
– будут введены общие реестры, куда включат все ИИ-решения;
– определят поддерживаемые направления развития, для которых будут создаваться технологические и правовые песочницы;
– особое внимание будет уделяться работе с персональными данными и соблюдению авторского права.
Вероятнее всего, под наибольшие ограничения попадет использование ИИ в юриспруденции, рекламе, атомной энергетике, логистике.
Также будут создаваться отдельные регуляторные ведомства или комитеты. национальные органы контроля. Если посмотреть на пример Китая, то высоки риски того, что взаимодействие между различными ведомствами будет организовать тяжело. Следует ожидать что-то вроде Agile-ведомства, в которых соберутся представители разных отраслей и специализаций. Оно будет вырабатывать правила и контролировать отрасль.
– Лицензирование
Вероятнее всего, лицензирование будет основано на разграничениях по отраслям или областям применения и возможностях ИИ-решений.
Это самый очевидный способ классификации и оценки рисков. Разработчиков заставят документировать все возможности. Например, система только готовить рекомендации или способна отдавать управляющие команды для оборудования?
Также разработчиков заставят вести подробную документацию по системной архитектуре решений и применяемых типах нейросетей.
– Требования по контролю / экспертиза данных, на которых будут обучать ИИ
Основное направление в ИИ – пред обученные и оптимизированные модели. Собственно, аббревиатура GPT в ChatGPT это и обозначает. И здесь мы уже видим требования о фиксации того, на каких исходных данных обучается ИИ. Это будет что-то вроде реестра метаданных / источников / каталогов данных.
Важно контролировать и фиксировать обратную связь, на которой обучается ИИ. То есть необходимо будет сохранять все логи и описывать механики сбора обратной связи. Одним из главных требований станет минимизация человеческого фактора, то есть автоматизация обратной связи.
Например, я, в цифровом советнике планирую собирать обратную связь по проекту не только от участников, но и на основе сравнения план/факта из учетных систем.
– Риск-ориентированных подход: использование песочниц и провокационного тестирования
Особое внимание будет уделено тестированию на безопасность. Здесь я вижу наиболее вероятной модель получения рейтингов безопасности для автомобилей. То есть ИИ будет проходить примерно то же самое, что сейчас происходит в краш-тестах автомобилей.
Другими словами, для каждого класса ИИ-решений (по возможностям, области применения) будут определяться недопустимые события и формироваться протоколы тестирования, которые должны пройти ИИ-решения. Затем ИИ-решения будут помещаться в изолированную среду и тестироваться по данным протоколам. Например, на технический взлом алгоритмов, устойчивость к провокациям на некорректное поведение (подмена данных, формирование запросов и т.д.).
Эти протоколы еще предстоит разработать, как и критерии соответствия этим протоколам.
Далее будет присваиваться рейтинг безопасности или соответствие требуемому классу.
Возможно, будут создаваться открытые программы и кибербитвы по поиску уязвимостей в промышленном и банковском ПО. То есть расширение текущих программ bug bounty и кибербитв.
– Маркировка и предупреждения
Весь контент, в том числе все рекомендации и продукты на основе ИИ будут обязаны иметь маркировку, что это продукт деятельности ИИ на основе нейросетей. Примерно, как предупреждающие изображения и надписи на упаковках сигарет.
В том числе таким образом будет решаться вопрос ответственности: предупреждая пользователя о риске, на него перекладывается ответственность за использование ИИ-решения. Например, даже полностью беспилотный автомобиль не снимет ответственности с водителя за ДТП.
– Риск-ориентированный подход: торможение развития сильного и суперсильного ИИ, расцвет локальных моделей
Исходя из темпов развития ИИ и анализа происходящего в сфере регулирования ИИ, можно полагать, что в мире будет развиваться риск-ориентированный подход к регулированию ИИ.
А развитие риск-ориентированного подхода в любом случае приведет к тому, что сильный и суперсильный ИИ будут признаны самыми опасными. Соответственно, и ограничений для больших и мощных моделей появится больше всего. Каждый шаг разработчиков будет контролироваться. Это приведет к тому, что затраты и трудности для разработки и внедрения вырастут в геометрической прогрессии. В итоге мы получим проблемы как для разработчиков, так и для пользователей, что снижает экономический потенциал таких решений.
При этом специализированныемодели на базе локальных и урезанных ИИ-моделей, которые могут немного, будут в зоне с наименьшим регулированием. Ну, а если эти ИИ будут построены на базе международных / национальных / отраслевых методологий и стандартов, то вместо ограничений им дадут субсидии.
В итоге сочетание таких «слабых» и ограниченных решений на базе ИИ-конструкторов с ИИ-оркестратором позволит обходить ограничения и решать бизнес-задачи. Пожалуй, узким местом тут станут сами ИИ-оркестраторы. Они попадут под категорию среднего риска и, скорее всего, их придется регистрировать.
Резюме
Период активного бесконтрольного развития ИИ подходит к концу. Да, до сильного ИИ еще далеко (по разным оценкам, 5—20 лет), но даже «слабый» или «пограничный» ИИ начнут регулировать. И это нормально.
Я в своей практике очень ценю теорию Адизеса, которая подсказывает, что на раннем этапе развития бизнеса лучше фокусироваться на производительности и поиске клиентов, но чем дальше, тем больше становятся нужными функции регулирования и коммуникации.
Также и тут. Технология прошла первые шаги, когда ей нужны были максимальная свобода и реклама (не побоюсь слова «хайп», поскольку крупные всемирные консалтинговые компании именно этим сейчас и занимаются относительно ИИ). Теперь же общество начинает думать о рисках и безопасности. Все как в жизненном цикле организации – от стартапа с минимум правил (главное – найди клиента и выживи) до зрелой корпорации (тщательная работа с рисками, регламенты, правила и т.д.).
Очень важно сейчас – не останавливать развитие ИИ или занимать позицию «мы подождем». Во-первых, это высокоинтеллектуальная отрасль, и нужно готовить кадры, формировать компетенции (потом не будет таких ресурсов, чтобы их переманить). Во-вторых, чтобы эффективно что-то регулировать, нужно находиться в теме и глубоко понимать специфику. Тут точно так же, как с информационной безопасностью: попытка запретить все приводит к параличу организаций и тому, что люди начинают искать другие каналы коммуникации, в итоге увеличивая риски. Поэтому сейчас и в ИБ идет развитие риск-ориентированного подхода, через выявление недопустимых событий, сценариев / процессов, которые к ним могут привести, и критериев, которые должны сработать, чтобы эти события произошли.
Поэтому ИИ будут развивать, но в изолированных средах. Только находясь «в теме», можно развиваться, получать прибыль и выстраивать гарантированную безопасность.
Глава 7. Безопасность ИИ
Недопустимые события, которые надо исключить
Эта глава посвящена тому, что нужно предусмотреть, чтобы злоумышленники не могли использовать ИИ-решения для причинения ущерба компаниям и отдельным людям.
Также нужно вспомнить вывод из предыдущей главы – ИИ-решения при оценке их безопасности будут помещаться в изолированную среду и проходить некий аналог краш-теста автомобиля. Здесь главная задача – понять, какие именно должны создаваться условия при таком тестировании. Первый шаг в этой цепочке – определение недопустимых событий, то есть таких инцидентов, которые ни в коем случае не должны произойти.
Для этого сначала определим, какой ущерб может быть вообще и какие последствия нежелательны?
Для обычных людей:
– угроза жизни или здоровью;
– «травля» в Интернете и унижение достоинства личности;
– нарушение свободы, личной неприкосновенности и семейной тайны, утрата чести, в том числе нарушение тайны переписки, телефонных переговоров и т.д.;
– финансовый или иной материальный ущерб;
– нарушение конфиденциальности (утечка, разглашение) персональных данных;
– нарушение других конституционных прав.
Для организаций и бизнеса:
– потеря / хищение денег;
– необходимость дополнительных / незапланированных затрат на выплаты штрафов / неустоек / компенсаций;
– необходимость дополнительных / незапланированных затрат на закупку товаров, работ или услуг (в том числе закупка / ремонт / восстановление / настройка программного обеспечения и рабочего оборудования);
– нарушение штатного режима работы автоматизированной системы управления и/или управляемого объекта и/или процесса;
– срыв запланированной сделки с партнером и потеря клиентов, поставщиков;
– необходимость дополнительных / незапланированных затрат на восстановление деятельности;
– потеря конкурентного преимущества и снижение престижа;
– невозможность заключения договоров, соглашений;
– дискредитация работников;
– нарушение деловой репутации и утрата доверия;
– причинение имущественного ущерба;
– неспособность выполнения договорных обязательств;
– невозможность решения задач / выполнения функций или снижение эффективности решения задач / выполнения функций;
– необходимость изменения / перестроения внутренних процедур для достижения целей, решения задач / выполнения функций;
– принятие неправильных решений;
– простой информационных систем или проблемы связи;
– публикация недостоверной информации на веб-ресурсах организации;
– использование веб-ресурсов для распространения и управления вредоносным программным обеспечением;
– рассылка информационных сообщений с использованием вычислительных мощностей компании или от ее имени;
– утечка конфиденциальной информации, в том числе коммерческой тайны, секретов производства, инновационных подходов т. д.
Для государств:
– возникновение ущерба бюджетам государств, в том числе через снижение уровня дохода государственных организаций, корпораций или организаций с государственным участием;
– нарушение процессов проведения банковских операций;
– вредные воздействия на окружающую среду;
– прекращение или нарушение функционирования ситуационных центров;
– снижение показателей государственных оборонных заказов;
– нарушение и/или прекращение работы информационных систем в области обеспечения обороны страны, безопасности и правопорядка;
– публикация недостоверной социально значимой информации на веб-ресурсах, которая может привести к социальной напряженности, панике среди населения;
– нарушение штатного режима работы автоматизированной системы управления и управляемого объекта и/или процесса, если это ведет к выводу из строя технологических объектов, их компонентов;
– нарушение общественного правопорядка, возможность потери или снижения уровня контроля за общественным правопорядком;
– нарушение выборного процесса;
– отсутствие возможности оперативного оповещения населения о чрезвычайной ситуации;
– организация пикетов, забастовок, митингов и т.д.;
– массовые увольнения;
– увеличение количества жалоб в органы государственной власти или органы местного самоуправления;
– появление негативных публикаций в общедоступных источниках;
– создание предпосылок к внутриполитическому кризису;
– доступ к персональным данным сотрудников органов государственной власти и т.д.;
– доступ к системам и сетям с целью незаконного использования вычислительных мощностей;
– использование веб-ресурсов государственных органов для распространения и управления вредоносным программным обеспечением;
– утечка информации ограниченного доступа;
– непредоставление государственных услуг.
Сценарии возникновения недопустимых событий
Именно этот блок похож на гадание по кофейной гуще. Сценариев того, как можно использовать ИИ для нанесения ущерба, огромное количество. Порой это похоже на идеи фантастов о далеком будущем. Мы попробуем подойти к этой задаче концептуально.
Три варианта использования ИИ злоумышленниками
Для начала давайте разберемся, как ИИ могут использовать для атак на организации? Здесь можно выделить три основных сценария.
Первый и самый опасный, но пока нереализуемый – это создание автономного ИИ, который сам анализирует ИТ-инфраструктуру, собирает данные (в том числе о сотрудниках), ищет уязвимости, проводит атаку и заражение, а затем шифрует данные и крадет конфиденциальную информацию.
Второй – использование ИИ как вспомогательного инструмента и делегирование ему конкретных задач. Например, создание дипфейков и имитация голоса, проведение анализа периметра и поиск уязвимостей, сбор данных о событиях в организации и данных о первых лицах.
И третий сценарий – это воздействие на ИИ в компаниях с целью вызвать у них ошибку, спровоцировать на некорректное действие.
Подмена видео, голоса и биометрии
Давайте рассмотрим второй сценарий на примере подмены видео, голоса для атак с помощью социальной инженерии.
Истории про дипфейки слышали уже почти все – видео, где подставлялось лицо нужного человека, повторялась его мимика, а отличить такую подделку довольно сложно. Про подделку голоса хочу сказать отдельно. Несколько лет назад, чтобы подделать ваш голос, требовалось предоставить ИИ один-два часа записи вашей речи. Года два назад этот показатель снизился до нескольких минут. Ну, а в 2023 году компания Microsoft представила ИИ, которому достаточно уже трех секунд для подделки. А сейчас появляются инструменты, с помощью которых можно менять голос даже в онлайн режиме.
И если в 2018 году все это было скорее развлечением, то с 2021 стало активным инструментом для хакеров. Например, в январе 2021 года злоумышленники с помощью дипфейка сделали видеоролик, где основатель Dbrain приглашал всех на мастер-класс и предлагал перейти по ссылке, не относящейся к его компании. Цель мошенников состояла в завлечении новых клиентов на блокчейн-платформу.
Еще интересный кейс случился в марте того же 2021 года. Злоумышленники обманули государственную систему Китая, которая принимала и обрабатывала подтвержденные биометрией налоговые документы. Там ИИ использовался хитрее. Приложение запускало камеру на телефоне и записывало видео для подтверждения личности. Мошенники в свою очередь находили фото потенциальных жертв и с помощью ИИ превращали их в видео. И подходили они к этой задаче комплексно. Злоумышленники знали, у каких смартфонов есть необходимые аппаратные уязвимости, то есть, где можно запустить подготовленное видео без включения фронтальной камеры. В итоге ущерб составил 76,2 млн долларов США. После этого инцидента в Китае задумались о защите персональных данных и представили проект закона, в котором предлагается ввести штрафы за такие нарушения и утечку персональных данных в размере до 8 млн долларов США или 5% от годового дохода компании.