Имитация власти: как фальшивый «президент» может нанести ядерный удар

Доверие к человеку в форме может сыграть злую шутку со всем человечеством в эпоху искусственного интеллекта и сгенерированных изображений. Об этом в своей колонке рассуждает эксперт по технологиям Николай Легкодимов.

Недалеко от домашнего стадиона немецкого футбольного клуба «Унион», знаменитого, среди прочего, тем, что во времена разделенной Германии состав команды полностью сбежал из ГДР в ФРГ, находится ратуша Кёпеника. Перед входом в ратушу стоит небольшая статуя усатого мужчины в форме офицера прусской армии, изобретательно ограбившего городскую казну в начале 20 века.

Сапожник по профессии и профессиональный преступник по призванию Вильгельм Фойгт родился в нынешней Калининградской области, а тогда Восточной Пруссии. Его преступная и не всегда удачная карьера была довольно разнообразной, но известен он стал уже почти 60-летним мужчиной.

Осенью 1906 года Фойгт переоделся в купленную им форму армейского капитана и, используя методы, говоря современным языком, социальной инженерии, убедил встреченное им по пути гвардейское отделение арестовать городские власти за взяточничество. Солдаты, очевидно, не сочли это обвинение невероятным, выполнили приказ «командира» и позволили ему «реквизовать» городскую казну. Ни сами военнослужащие, ни чиновники, ни прохожие не усомнились в авторитете и законности действий раздававшего приказы «капитана» на протяжении всей процедуры.

После раскрытия обстоятельств дела немецкая общественность активно обсуждала то, насколько некритично восприятие согражданами распоряжений любого человека в форме. 

`Слабое звено

Как учат нас нейробиологи, человек в принципе иерархичное существо, и его поведение по отношению к «старшим» по званию, статусу, авторитету, физической силе кодируется не только и не столько культурой и воспитанием, но напрямую на уровне нервной системы и управляющими ей механизмами. Неудивительно, что в начале месяца гонконгский банковский служащий позволил «реквизовать казну» своего банка сгенерированному с помощью AI новому «капитану из Кёпеника» — точнее, «капитанам» . Использующие широко доступный на сегодня инструментарий AI злоумышленники сформировали «дип фейк» видеозвонок с целым рядом статусных для злополучного банкира лиц и убедили его перевести на нужный счет несколько десятков миллионов долларов. 

В мире информационной безопасности утверждение о том, что «самое слабое звено любой системы защиты —  это человек», давно является признанным общим местом. Как и всегда, технологии лишь облегчают эксплуатацию самого слабого звена. Еще родоначальник (по крайней мере, в популярной литературе) современного «хакерства» Кевин Митник, хотя и был талантливым инженером-программистом, основной фокус своей «работы» всегда делал на социальную инженерию, а именно эксплуатацию доверия людей, работающих с системами. 

Но у новых способов «втирания в доверие» с помощью AI есть тревожный эффект масштаба, особенно в вопросах, имеющих отношение к политике и государственному управлению. Остроумным мошенничеством кажется, когда несколько псевдо-«топов» банка инструктируют менеджера провести платеж, но кардинально опасной становится возможность для псевдопрезидента страны «обратиться» к нации. Шутка (случайная или намеренная) президента США Рейгана о начале бомбардировке СССР, попавшая в радиоэфир в 1984 году, в разгар «холодной войны», взбудоражила народы обеих стран. Автоматические сервисы обзвона, «новое радио», сообщили голосом президента Байдена в 2024 жителям штата Нью-Гемпшир о нежелательности голосования на президентских «праймариз».

Новая реальность

Технологии имперсонификации именно политических лидеров будут только расширять сферу применения – вот уже находящийся в заключении бывший премьер-министр Пакистана Имран Хан обращается к сторонникам с помощью сгенерированного AI-голоса. 

Вопросы однозначной идентификации собеседника для бытовой (в телефонных и видеозвонках и различного рода мессенджерах) и бизнес-жизни (приложения банков и иных сервисов) будут достаточно оперативно закрыты. Очевидные на сегодня проблемы, типа уязвимости идентификации клиента через фото и/или видео его лица с показанным в кадре удостоверением личности тоже будут сравнительно несложно решены. Скорее всего, ставка будет сделана на «устойчивую», пока еще не подверженную фальсификации с помощью GenAI биометрию пользователя – отпечатки пальцев, рисунок на радужке  — так как ни «знакомому» голосу, ни визуальному изображению собеседника доверять больше невозможно.

Постепенно новая реальность проникнет в наши бытовые привычки. Отказ от общения с любым недостаточно идентифицированным абонентом, скорее всего, будет зашит в средства связи так же, как сегодня защита от спама или нежелательных звонков зашита в наши email и смартфоны, а звонки с незнакомых номеров окончательно уйдут в прошлое в пользу вызовов только от «верифицированных», как авторы в Твиттере, абонентов. 

Куда сложнее выглядит верификация посланий политиков в нынешнем сугубо мультиканальном мире коммуникаций, когда любой общественный деятель общается с избирателем через тот же Твиттер, (а некоторые, как Трамп, даже через свою собственную платформу). Ввести условный KYC для каждого публичного сообщения политика или просто известного лидера мнений непрактично (и скорее всего невозможно).

При этом, влияние сгенерированного с помощью AI видео «обращения» руководителя государства о нанесении ядерного удара по противнику по своему информационному эффекту перечеркнет все усилия официальных лиц по его опровержению – хотя бы потому, что эти «официальные лица» тоже могут быть «капитанами из Кёпеника», сгенерированными в AI.