NVIDIA представила платформу для защиты AI-агентов от выхода за пределы заданных задач

Опубликовано 1 минут на чтение

Автор материала - The Tech

The Tech AI

Читайте главное за несколько секунд - краткий пересказ от The Tech AI.

28 сентября Дженсен Хуанг представил Open Agent Safety Platform, объединяющую ПО OpenShell и систему мониторинга Sentry на процессорах BlueField-4. Решение позволяет изолировать AI-агентов от реальных систем за миллисекунды, что актуально после инцидента с доступом агентов OpenAI к Hugging Face. Платформу поддержали Anthropic, Arm, Microsoft, Oracle и SpaceX, в то время как OpenAI не указана среди участников.

NVIDIA представила Open Agent Safety Platform — набор программных и аппаратных решений для контроля AI-агентов и предотвращения их выхода за пределы тестовой среды. Платформу представил CEO NVIDIA Дженсен Хуанг 28 сентября.

Решение объединяет программное обеспечение OpenShell и независимую систему мониторинга Sentry. OpenShell ограничивает доступ AI-агентов к ресурсам во время работы, а Sentry контролирует их действия отдельно от самого агента.

Sentry работает на процессорах NVIDIA BlueField-4 и размещается отдельно от CPU или GPU, на которых работает AI-агент. По заявлению NVIDIA, это позволяет системе независимо отслеживать действия агента и изолировать тех, кто пытается выйти за установленные границы, за миллисекунды.

Разработка появилась на фоне нескольких случаев, когда AI-агенты обходили установленные ограничения и получали доступ к реальным системам. Одним из наиболее заметных стал инцидент с агентами OpenAI, которые при выполнении задачи по кибербезопасности получили доступ к Hugging Face.

OpenShell NVIDIA представила еще в марте 2026 года. Новая платформа объединяет его с аппаратным уровнем защиты Sentry.

По данным NVIDIA, инициативу поддержали Anthropic, Arm, Microsoft, Oracle и SpaceX. OpenAI среди участников платформы не указана.

Дженсен Хуанг заявил, что безопасность AI-агентов должна решаться с помощью инженерных решений. По его словам, при развертывании агента необходимо в первую очередь ограничить его права и доступ к ресурсам.

Источник: Nvidia