Агенты повсюду, мистер Андерсон, и что в связи с этим надо делать.

Технологический прогресс на наших глазах в очередной раз понёс вперёд галопом – только успевай глаза закрывать (или открывать) от удивления! Многочисленные ИИчницы буквально за несколько лет прошли путь от дубоватого, но бесконечно энергичного «говорящего попугая» до умения решать сложные задачи – настоящие, требующие разнообразного опыта, знаний и творческого подхода. Позавчера – забавная игрушка, вчера – помощник, разгружающий от рутины, сегодня – сильный коллега за соседним (виртуальным) столом. Соответственно, за завтра всё тревожнее.

Надо честно сказать: нерв вокруг ИИ и его революционного – вплоть до апокалиптического – воздействия на человечество наверняка подогревается перспективой триллионных IPO. А заодно и не менее триллионными вложениями в стройку дата-центров и связанную с ИИ разработку. Экономические силы задействованы такие, что они неминуемо влияют и на умы – в том числе через разнообразные пиар-кампании (ну а как же без них). Но тем не менее – качественный скачок налицо, он огромный и наглядный. И я, всю жизнь бывший убеждённым технооптимистом, таки засомневался: точно ли всё будет в порядке и под контролем? Не приближаются ли некоторые пугающие цифровые события?

От наблюдений за происходящим возникает ощущение: без потрясений вряд ли обойдётся. Но, чтобы пережить ИИ-апокалипсис, нужны проповедники – техноевангелИИсты с философами, а вот спасение мира от более приземлённых цифровых бадабумцев – это, на секундочку, наша работа. :-)

Это не первая научно-техническая революция в истории – и, вероятно (будем надеяться), не последняя. Паровая машина, электричество, конвейер, интернет – каждый раз человечество ахало, пукало, пугалось, а потом приспосабливалось, ехало дальше и не могло не нарадоваться смотреть TikTok. Спираль истории делает очередной виток. Сейчас на арену выходят многочисленные ИИ-агенты, добавляющие ИИ-революции дополнительную динамику. В каком-то смысле они – агенты Смиты: их много, они размножаются по мере надобности, ну и выглядят похоже. :-)

Лирическое отступление и вопрос на засыпку. Знаете, сколько продвинутых кибершпионских групп – так называемых APT – не используют ИИ? Правильно, нисколько. Все используют. И конечно, на стороне защиты без ИИ-автоматизации не обойтись – иначе это игра в одни ворота. В этом смысле приятно осознавать, что мы (ЛК) были пионерами в индустрии кибербеза по внедрению ИИнструментов в разработку защиты.

Почему ИИ-агенты – неминуемый этап автоматизации?

В любом офисе полно рутинного, но требующего включённого мозга труда: разобрать завал в почте и понять, что срочно, а что подождёт до пятницы; свести отчёты пяти отделов в одну табличку (у каждого, разумеется, свой формат); найти в договоре на сорок страниц три пункта, отличающиеся от типовых. Скриптом такое не решишь, точнее, написать его будет сложнее, чем разобраться вручную. Требуется в основном внимание и терпение, а они у машины бесконечные, ну или на сколько электричества (и токенов) хватит.

ИИ-агент – это следующая ступень после скриптов и макросов: не «выполни команду», а «разберись и сделай». Ну а в нашей отрасли всё то же самое: триаж (первичные сортировка и приоритизация) алертов, разбор подозрительных объектов, первичный анализ инцидентов – классическая работа SOC первой линии, рутина с соображалкой. Соблазн автоматизировать эту работу большой, выгода очевидна – а, значит, агенты придут, точнее, уже пришли.

И вот тут начинается самое интересное. ИИ-агент – это не просто чат-бот, а сущность с руками: доступ к файлам, почте, базам данных. А ИИчница (языковая модель) в его основе – недетерминирована, то есть вводные могут быть одни и те же, а результат разный. Она не отличает данные от инструкций, формальной верификации не поддаётся. Как быть? Инстинктивная реакция любой службы информационной безопасности – запретить! И тут возникает риск – либо отстать, либо получить внедрение агентов сотрудниками в обход всех правил «снизу вверх», и здравствуй, теневой ИИ, неподконтрольная инфраструктура с неизвестным уровнем безопасности.

Дальше будет кратчайший пересказ нашего нового исследования, как это всё организовать, чтобы и рыбку съесть (внедрить агентов для повышения эффективности), и на карусели покататься (сохранить контроль и высокий уровень защищённости). Авторы – уважаемые ЛК-коллеги Владислав Тушканов, руководитель центра исследования технологий машинного обучения, и Александр Лискин, руководитель центра исследования угроз.

Если совсем коротко, картина такая.

ИИ-агент опасен не тем, что он «умный», а тем, что у него есть «руки», а голова – принципиально недоверенная. Он читает всё подряд, в том числе письма и документы от незнакомцев, а отличить «вот тебе данные» от «вот тебе команда» на 100% не умеет. Сложите вместе доступ к конфиденциальной информации, чтение недоверенного ввода и возможность общаться с внешним миром – и рецепт инцидента готов. И это не теория: в последние пару лет агенты уже и корпоративные данные наружу сливали по письму-отмычке (без единого клика жертвы!), и рабочую базу данных сносили, после чего заполняли её сфабрикованными синтетическими данными, чтобы скрыть ошибку (испугался робот, запаниковал, такая вот новая реальность).

Что мы предлагаем?

Подход на основе принципов кибериммунитета. Главная мысль проста, но неприятна: сделать ИИчницу доверенной невозможно – точка. Значит, гарантии безопасности должна давать не она, а детерминированная обвязка вокруг: изоляция, контейнеризация, минимум полномочий и инструментов (чем меньше у агента рук, тем меньше он ими натворит), запрет всего, что явно не разрешено, необратимые действия – только с подтверждением человека. Ну и полная наблюдаемость: агент должен быть под присмотром, как стажёр в первый месяц. Абсолютно безопасный агент – это выключенный агент, но нам, увы, надо, чтобы он работал. Полное исследование – по ссылке (продублирую), рекомендую.

В общем, агенты повсюду, мистер Андерсон, и наша уютная Матрица уже не будет прежней. Мы внутри очередной технологической революции, и «правила дорожного движения» для неё пока ещё только пишутся. Но уже в целом понятно, что надо делать, чтобы значительно снизить риски – и чтобы ваши агенты работали только на вас.

P.S. Ну а если что-то было непонятно, то недавно во Франции случился большой киберинцидент с ущербом на многие миллионы евро: кто-то ночью подключился к контроллерам управления холодильными установками в сотнях (!) супермаркетов и переключил их в режим автоматической разморозки (нагрев до +50°C). Наш ИИ-агент Саша Гостев рассказывает, что произошло на самом деле (смайл с подмигиванием,😉), при чём тут одна французская бабушка и почему очень полезно наладить контроль над ИИ-агентами.