Глава Microsoft предложил рассматривать ИИ-модели как потенциальный внутренний риск для компаний

Сатья Наделла, глава Microsoft, написал на X о рисках использования мощных моделей искусственного интеллекта. По его мнению, компаниям необходимо пересмотреть подход к безопасности ИИ и не полагаться только на обещания разработчиков.

В отличие от традиционного программного обеспечения, работу ИИ-моделей сложно проследить до конкретных данных или настроек. При этом такие системы получают доступ к конфиденциальной информации и могут выполнять важные задачи от имени сотрудников.

Наделла предложил рассматривать передовые ИИ-модели как потенциальный внутренний риск. Это не означает, что они намеренно причиняют вред, однако любая система с широкими полномочиями может допустить ошибку или стать целью атаки.

Для повышения безопасности он выделил несколько принципов: ограничение доступа к данным, запись всех важных действий, регулярное тестирование, независимую проверку результатов и возможность остановить модель в любой момент. Также он подчеркнул важность раскрытия информации об инцидентах, чтобы компании могли учиться на чужих ошибках.

По мнению Наделлы, недостаточно просто доверять ответам ИИ или поручать одной модели проверять другую. Контроль должен работать независимо от самой модели, а компания должна самостоятельно определять, какие действия ей разрешены.

Надежность ИИ зависит не столько от доверия к конкретной модели, сколько от системы контроля, которая ограничивает ее возможности и позволяет проверять действия.