Защита интернета: в РФ начали контролировать нейросети

Ведущие российские компании начали создавать ИТ-продукты на базе искусственного интеллекта, включая системы для мониторинга действий других ИИ-агентов. Спрос на такие решения значительно возрос после перехода бизнеса от чат-ботов к автономным ИИ-программам, способным выполнять сложные задачи самостоятельно. Риски, связанные с этим подходом, уже проявились: летом множество ИИ-агентов скоординировали атаку на платформу открытых нейросетей Hugging Face. Об этом сообщает Известия.

Российские компании начали внедрять меры по ограничению ИИ.

Современные языковые модели достигли высокого уровня развития, что привело к смещению внимания разработчиков на механизмы контроля и корпоративную инфраструктуру, известную как harness — «обвязка» вокруг ИИ-модели. Все крупнейшие российские технологические компании занимаются разработкой таких систем.

По словам Валерия Стромова, CEO «Алисы» и «умных» устройств, именно «обвязка» позволяет ИИ работать с памятью и контекстом, запускать код и выполнять сложные сценарии последовательно. Это одно из ключевых направлений развития агентных технологий.

В «Яндексе» также отметили, что развитие harness связано с появлением моделей, которые могут не только отвечать на вопросы, но и выполнять реальные действия с помощью различных инструментов.

Сергей Юдин, технический директор направления профессиональных ИИ-сервисов компании, рассказал, что это превращает возможности моделей в надежный сервис, соединяя их с локальными данными и другими продуктами, контролируя качество и безопасность.

Компания MWS AI (входит в «МТС Web Services») разрабатывает решение, позволяющее переключаться между моделями без изменения логики работы агента, контролировать вычислительные ресурсы и анализировать каждое действие системы. Представители компании подчеркнули, что одна и та же языковая модель может давать разные результаты в зависимости от качества инфраструктуры.

В «Сбер» также разрабатывают собственные решения в этой области. Банк представил технологии для управления большими языковыми моделями и ИИ-агентами, которые уже внедрены в продукты как для массовых пользователей, так и для бизнеса. Это позволяет контролировать ИИ-процессы и результаты.

Марина Сурыгина, руководитель отдела управления и развития продуктов «СберМаркетинга», пояснила, что на рынке контроля ИИ-агентов формируется самостоятельный и быстрорастущий сегмент, где используется гибридный подход.

В ИТ-холдинге Т1 также наблюдается рост интереса к механизмам контроля ИИ-агентов. Сергей Голицын, руководитель направления, сообщил, что за последний год количество запросов бизнеса на такие механизмы увеличилось втрое. Теперь требования безопасности закладываются на этапе проектирования.

Кибербезопасность Рунета

Евгений Федоров, технический директор центра технологий кибербезопасности ГК «Солар», сравнил новый класс защиты с появлением файрволов в сетевой безопасности. Он отметил, что языковая модель не может отличать данные от команд, поэтому контроль должен находиться за пределами модели.

В «Соларе» ожидают, что российский рынок защиты ИИ может составить 1–2 млрд рублей только за счет продажи продуктов, а с учетом услуг — до 4 млрд.

Эксперт центра развития «Новая Эра» Егор Зубакин добавил, что такие агенты могут использоваться для защиты персональных данных россиян в контуре отечественных ИИ-моделей. По его мнению, рынок контроля ИИ находится на стадии формирования, однако спрос уже меняется.

В Федеральной службе по техническому и экспортному контролю сообщили, что угрозы, связанные с передачей конфиденциальной информации в сторонние ИИ-сервисы, учтены в действующих требованиях по защите информации. Ведомство считает, что имеющихся мер достаточно для нейтрализации таких рисков.

В Минцифры уточнили, что работа над развитием технологий и регулированием отрасли продолжается. Разработчики больших фундаментальных моделей обязаны определять правила эксплуатации и условия применения.

Рост интереса к защитным решениям объясняется тем, что современные ИИ-агенты становятся более автономными и могут работать с корпоративными системами. Это иногда приводит к инцидентам, как в случае с Hugging Face.

В России подобных инцидентов пока не фиксируется. Михаил Лисецкий, ИТ-предприниматель, отметил, что это связано не столько с безопасностью отечественных решений, сколько с уровнем развития систем. Российские ИИ-платформы уступают зарубежным по автономности и вычислительным возможностям.

Александр Бухановский, руководитель Института искусственного интеллекта ИТМО, сравнил языковую модель с мозгом, а harness — с органами восприятия. Хорошо спроектированный harness может снизить требования к мощности модели.

Эксперт НИУ ВШЭ Мурат Хажгериев отметил, что в профессиональной среде существует формула: «ИИ-агент — это большая языковая модель и harness-обвязка». Главным узким местом становится организация контекста, памяти и взаимодействия с инструментами.

Кирилл Пшинник, сооснователь университета «Зерокодер», считает, что защитный сегмент может вырасти до 1 млрд рублей к концу 2026 года. Основными источниками доходов станут внедрение, интеграция и сопровождение программ.

Эксперты согласны, что по мере того как ИИ получает возможность самостоятельно действовать, контроль становится обязательной частью архитектуры, а конкуренция будет определяться не только качеством моделей, но и надежностью инфраструктуры, управляющей их действиями.