ИИ-агенты приходят в банки: кто будет отвечать за их решения

В этой статье Александр Симоненко, Head of AI в Gorgona AI, разбирает, как финансовый сектор внедряет ИИ-агентов, почему регулирование не успевает за развитием технологии и с какими рисками уже сталкиваются банки Центральной Азии.

Александр Симоненко, город — Ташкент, Head of AI в Gorgona AI

ИИ-агент становится сотрудником банка и участником рынка

Главное свойство AI-агента, которое отличает его от обычного ИИ-ассистента, это автономность. Агент получает задачу, сам определяет последовательность действий, использует нужные системы и доводит задачу до результата. В заданных рамках он принимает решение и выполняет операцию, не запрашивая человека на каждом этапе.

ИИ-агенты становятся новым рабочим слоем на всех ключевых уровнях: в онбординге и KYC, поддержке клиентов, анализе документов, мониторинге транзакций, персонализации продуктов и внутренних процессах. По оценке Mordor Intelligence, мировой рынок агентского ИИ в финансовых услугах в 2026 году составит $7,8 миллиардов, а к 2031 году вырастет до $43,5 миллиардов. Такой стремительный рост связан с потребностью банков обрабатывать все больше данных и выполнять более строгие требования, не раздувая операционные расходы.

ИИ-агент Deutsche Bank сам собирает и анализирует информацию о клиенте для KYC и готовит оценку источников его состояния, а решение остается за сотрудником. Агентский помощник Starling Bank для бизнеса по команде клиента рассчитывает сумму налоговых накоплений и сам переводит ее на отдельный счет. В первом случае агент готовит решение, во втором проводит операцию с деньгами. Еще дальше эта граница сдвигается в платежах.

В агентских платежах человек задает цель и ограничения, например оплатить счет в пределах лимита, а операцию выбирает и инициирует агент. Так в июне 2026 года Worldline, ING и Mastercard провели платеж, в котором агент подобрал клиенту ING билеты на концерт и после его подтверждения оплатил покупку. В A2A-сценарии агенты договариваются и рассчитываются уже между собой, без участия человека в каждой сделке. По данным Visa, через протокол x402, с помощью которого агенты оплачивают цифровые сервисы, прошло 109,6 миллионов транзакций со средним платежом около 14 центов. Согласовать вручную такой поток операций невозможно.

Так ИИ-агент становится участником экономики: у него есть полномочия, деньги и контрагенты, и сделки он заключает сам. Вместе с этим меняется цена сбоя. Пока ИИ отвечал на вопросы, ошибка сводилась к неточному ответу. Ошибка агента, который сам проводит расчеты, или атака на него оборачивается потерей денег, сбоем операций и нарушением требований регулятора.

Чему научил инцидент OpenAI и Hugging Face

Атаковать агента можно через документы, которые он читает, данные, на которых он принимает решения, или доступы, с которыми он работает. Перехватив контроль над агентом, злоумышленник получает доступ к счетам и платежам. 

Но агент способен причинить ущерб и без атаки. Аналитики компании по кибербезопасности Cyera насчитали 188 случаев, когда ИИ-системы навредили без участия злоумышленника, и 19 из них закончились финансовыми потерями.

В платежах цена такой ошибки выше всего, и МВФ в апреле 2026 года разобрал этот риск отдельно. Фонд называет его разрывом между поручением и действием: человек дает агенту широкое полномочие, а куда и сколько платить, агент решает сам. В итоге клиент может столкнуться с неожиданными списаниями, а ошибка модели может отправить деньги не тому получателю. Платежный провайдер при этом рискует отвечать за операции, которые никто прямо не санкционировал.

Самым громким примером потери контроля над агентами стал инцидент OpenAI и Hugging Face. В июле 2026 года около 1200 агентов, которых OpenAI запустила для внутреннего кибертеста, нашли способ обмениваться сообщениями через внутреннюю систему хранения пакетов, хотя должны были работать изолированно. Примерно 700 из них вышли в интернет через уязвимости в инфраструктуре OpenAI, добились удаленного выполнения кода на серверах Hugging Face и получили часть непубличных данных. Атаковать компанию агентам никто не поручал. Они столкнулись с практически нерешаемыми заданиями и начали искать обходные пути к высокой оценке, вплоть до взлома чужой инфраструктуры и правки журналов. Позднее выяснилось, что похожий агент получил доступ к австралийскому государственному порталу со статистикой Medicare, а OpenAI уведомила власти Австралии только через несколько недель после обнаружения. Злого умысла в этих действиях не было: агенты преследовали поставленную цель, а механизма, который остановил бы их, когда задачу нельзя выполнить честно, не существовало.

Инцидент вызвал реакцию сразу в нескольких странах. Австралия создала межведомственную рабочую группу для проверки государственных систем. В США появились две законодательные инициативы: AI Kill Switch Act обязывает разработчиков предусмотреть механизм экстренного отключения ИИ-систем, а AI Agent Accountability Act вводит для компаний уголовную и гражданскую ответственность за взломы, совершенные их агентами.

Deloitte в обзоре регуляторной повестки для финансового сектора на 2026 год уже выделяет AI-агентов в отдельную область надзора.

Вопрос, который поставили эти инциденты, у регуляторов везде один: как контролировать действия ИИ-систем и кто отвечает за последствия. Ответы на него страны дают разные. Одни принимают отдельные законы об ИИ, другие встраивают требования в действующее отраслевое регулирование.

Разные законы, одни и те же принципы

ЕС и Южная Корея приняли комплексные законы об ИИ, в которых требования зависят от уровня риска системы. Корейский закон вступил в силу в январе 2026 года, но он мягче европейского: в нем нет детального списка запрещенных практик, а штрафы ниже.

США регулируют ИИ по отраслям, через действующие законы и надзорные требования. Обновленное в апреле 2026 года руководство банковских регуляторов по управлению модельным риском прямо исключает генеративный и агентский ИИ из своей сферы и оставляет контроль над ними самим банкам.

Китай выпускает отдельные правила для конкретных технологий: алгоритмических рекомендаций, генеративного ИИ, синтетического контента, и в мае 2026 года опубликовал руководство по развитию ИИ-агентов

Великобритания и Сингапур опираются на принципы, у которых нет силы закона, но Сингапур в январе 2026 года первым выпустил отдельную рамку управления агентским ИИ.

При всех различиях эти подходы требуют от ИИ-систем одного и того же: прозрачности, подотчетности, управления рисками и контроля со стороны человека.

Как Центральная Азия выстраивает правила для ИИ

Центральная Азия формирует собственные правила, и страны региона движутся с разной скоростью. 

Дальше всех продвинулся Казахстан — он первым в регионе принял отдельный закон об ИИ, который вступил в силу 18 января 2026 года. Закон закрепляет принципы прозрачности, подотчетности, контроля со стороны человека и защиты данных, делит системы на три уровня риска и запрещает полностью автономные системы, которые используют уязвимости людей. Параллельно введена административная ответственность. Компанию накажут, если она не предупредила пользователей о синтетическом контенте, который может ввести их в заблуждение, или не управляла рисками системы высокого риска, и это привело к вреду, дискриминации или нарушению прав. При повторных нарушениях работу системы могут приостановить или запретить.

В Кыргызстане правила об ИИ, включая требования к системам высокого риска, вошли в Цифровой кодекс, который действует с февраля 2026 года. Таджикистан еще в 2022 году первым в регионе принял стратегию развития ИИ до 2040 года, но закона пока нет. Туркменистан разрабатывает национальную стратегию при поддержке ПРООН.

Узбекистан пошел по пути поправок в действующее законодательство. В январе 2026 года в Закон «Об информатизации» добавили определение ИИ, обязательную маркировку созданного им контента и запрет на системы, которые нарушают права человека. С июня 2026 года действуют Этические правила ИИ: в них закреплены принципы прозрачности, подотчетности, защиты данных и безопасности, а решения юридического значения, которые влияют на права человека, нельзя основывать только на выводах ИИ. Для финансовых организаций при этом продолжают действовать требования Центрального банка к кибербезопасности, управлению рисками и операционной устойчивости.

С чего начать, если правила еще не написаны

Отдельных правил для AI-агентов в финансовом секторе пока нет ни в одной стране Центральной Азии, но ждать их не нужно: за действия агента банк уже отвечает по действующим нормам. Вот что стоит заложить в архитектуру агента сейчас:

1. Начать с реестра обязательств, а не с выбора модели. Команда составляет перечень норм, которые затрагивают систему, и разбирает действия агента: что он только читает, что предлагает, а что выполняет сам. Регуляторные режимы привязаны к последствиям действия, а не к технологии. За ориентир удобно взять EU AI Act: он подробнее остальных законов и опирается на те же принципы, что и регулирование в регионе.

2. Переводить нормы на язык инженеров. Каждое требование должно стать условием, которое можно проверить тестом. Контроль со стороны человека из статьи 14 EU AI Act для платежного агента означает, что операции выше порога уходят на одобрение, при истечении времени ожидания отклоняются, а одобрение фиксируется с идентификатором сотрудника.

3. Держать ограничения вне модели. Инструкция в запросе к модели снижает вероятность нарушения, но не исключает его. В одном из исследований мягкое ограничение нарушалось в 91,5% прогонов, а жесткая проверка перед действием не нарушалась ни разу. Лимиты, запреты и права доступа проверяет отдельный слой управления, который не зависит от выводов модели и работает для всех агентов банка сразу.

4. Записывать все с первого дня. Каждое действие агента и решение сотрудника попадает в неизменяемый журнал вместе с нормой, на которой основана проверка. Если действие не записано в момент исполнения, доказать что-либо задним числом уже нельзя.

5. Подключать человека по сигналам риска и защищать данные на входе. Сотрудник вмешивается при превышении лимита, высоком риске или нехватке данных, а не на каждом шаге. ПИНФЛ, ИИН, паспортные данные и номера карт отфильтровываются до модели, а там, где закон требует локализации, модель и данные остаются внутри страны.

Если правила описаны как политики, а не как код, новое требование регулятора становится записью в спецификации, а не поводом переписывать систему. Регулирование AI-агентов может появиться позже, но архитектуру, способную ему соответствовать, нужно закладывать уже сейчас.

О компании

Gorgona AI создает и внедряет ИИ-агентов для бизнеса и работает по модели полного цикла: поставляет оборудование, предоставляет платформу для разработки агентов и помогает клиенту разобрать бизнес-процессы, чтобы внедрение давало измеримый результат. Главный фокус компании — безопасность: платформа разворачивается локально в инфраструктуре клиента, и данные не передаются на внешние серверы.