Как Используется ChatGPT в кибербезопасности

[D2]

Авторство: hackeryaroslav​

Источник: xss.is​

Оффтоп
Принимая все замечания, с которыми я полностью согласен по поводу прошлой статьи от c0d3x и других людей, я попытался создать необычную статью, как мы можем использовать ИИ в веб хакинге и кб. В связи необычных форматов статей, они будут выходить реже, но я обещаю, что теперь они будут достойны чтения как и новичков, так и профи в этом деле. Спасибо за фидбеки!

Несомненно, эволюция генеративных моделей искусственного интеллекта (GenAI (Далее - ИИ)) стала важнейшим аспектом цифровой трансформации в 2022, 2023 и 2024 году. По мере увеличения сложности и возможностей различных моделей GenAI, таких как ChatGPT становится критически важным понимать их воздействие на кибербезопасность. Недавние примеры показывают, что инструменты ИИ могут использоваться как в защитных, так и в атакующих целях в области кибербезопасности, привлекая внимание к социальным, этическим и приватным аспектам этой технологии. И по мере этого нарастают напряжение у политиков, которые хотят максимально зацензурить, а лучше, ограничить ИИ в способностях.

В статье подробно рассматриваются уязвимости ChatGPT, которые могут быть использованы злоумышленниками для обхода этических ограничений модели. Приведу примеры успешных атак, таких как джейлбрейк, обратная психология и атаки с внедрением подсказок на ChatGPT.

Статья также анализирует, как киберпреступники могут использовать инструменты GenAI для разработки кибератак, а также рассматривает сценарии, в которых ChatGPT может быть использован для создания атак социальной инженерии, фишинга, автоматизированных атак и других инженерных атак. Далее представлены методы защиты и использование инструментов ИИ для усовершенствования мер безопасности (рассмотреть нужно и в благородных целях), включая автоматизацию киберзащиты, отчетность, анализ угроз, генерацию и обнаружение безопасного кода, идентификацию атак, разработку этических рекомендаций.

В заключение статьи выделяются открытые проблемы и будущие направления для того, чтобы сделать ИИ безопасным, надежным, заслуживающим доверия и этичным. Это особенно важно, поскольку сообщество осознает влияние ИИ на кибербезопасность и не только).

Интро
Развитие искусственного интеллекта (ИИ) и машинного обучения (МО) привело к значительным изменениям в цифровой трансформации за последние десятилетия. Прогресс в области ИИ и МО начался с контролируемого обучения и стремительно развивается с появлением неконтролируемого, полуконтролируемого, подкрепления и глубокого обучения. Последним значительным достижением в области ИИ стало появление генеративного ИИ

Генеративные модели ИИ используют глубокие нейронные сети для анализа структуры и паттернов обширного набора обучающих данных с целью создания нового сходного контента. Технология генеративного ИИ способна генерировать разнообразные формы контента, такие как текст, изображения, звуки, анимации, исходный код и другие типы данных. Запуск ChatGPT (Generative Pre-trained Transformer) в ноябре 2022 года, нового мощного инструмента генеративного ИИ от OpenAI, вызвал революцию в области технологий ИИ/МО. ChatGPT проиллюстрировал мощь генеративного ИИ перед широкой аудиторией, изменяя восприятие ИИ/МО.

В настоящее время индустрия находится в состоянии конкуренции за разработку наиболее сложных больших языковых моделей (LLM), способных создавать разговоры, между которыми модели GPT от Microsoft, Bard от Google и LLaMa от Meta. ИИ стал повсеместным инструментом в сети в последние годы. Например, ChatGPT достигла 100 миллионов пользователей всего за два месяца после выпуска, что свидетельствует о том, что либо пользователи сами использовали ИИ, либо знакомы с кем-то, кто им пользовался.

На рисунке представлен пример работы чатбота на основе искусственного интеллекта, где пользователь инициирует запрос, а затем, после анализа с использованием обработки естественного языка (NLP), получает ответ в режиме реального времени. Этот ответ вновь анализируется для обеспечения лучшего пользовательского опыта в последующем разговоре.

Плюсы и Минусы ИИ в кб
Плюсы:
Обобщающая способность искусственного интеллекта позволяет заменить традиционные правила, основанные подходы, более интеллектуальными технологиями. Однако с развитием цифрового ландшафта уровень изощренности киберугроз увеличивается. Если ранее киберпространство сталкивалось с относительно простыми, но объемными попытками вторжения, то с появлением кибератак, использующих искусственный интеллект, началась новая эра, приводящая к изменениям в векторах киберугроз.

Развивающиеся инструменты ИИ являются двусмысленным мечом в кибербезопасности, принося пользу как защитникам, так и атакующим. Например, инструменты ИИ, такие как ChatGPT, могут использоваться киберзащитниками для защиты систем от злоумышленников. Эти инструменты используют информацию, полученную от больших языковых моделей, обученных на обширных данных разведки киберугроз, чтобы анализировать уязвимости, шаблоны атак и признаки нападений. Киберзащитники могут использовать этот обширный объем информации для более эффективного анализа угроз, извлечения данных и выявления вновь возникающих угроз.

Инструменты ИИ также могут применяться для анализа больших объемов журнальных файлов, системного вывода или данных сетевого трафика в случае кибернетических инцидентов. Это позволяет ускорить и автоматизировать процесс реагирования на инциденты. Модели, основанные на ИИ, также полезны для разработки безопасного человеческого поведения, обучая людей более сложным формам атак. Инструменты ИИ также способствуют практике безопасного кодирования, создавая безопасный код и генерируя тестовые данные для проверки безопасности написанного кода (но не стоит полностью на него полагаться).

Минусы (но мы же все понимаем что это никак назвать минусом, верно?):
С другой стороны, использование ИИ для обеспечения кибербезопасности и риски его неправильного использования нельзя преуменьшать. Киберзлоумышленники могут использовать ИИ для осуществления кибератак, либо напрямую извлекая информацию, либо обходя этические правила OpenAI. Генеративные возможности инструментов ИИ позволяют создавать убедительные атаки социальной инженерии, фишинговые атаки, полезные нагрузки для атак и различные формы вредоносного кода, которые могут быть компилированы в исполняемые файлы вредоносного кода. Несмотря на ограничения, установленные этической политикой OpenAI, такими как ChatGPT, существуют методы обхода этих ограничений, такие как джейлбрейк, обратная психология и другие техники.

Кроме того, инструменты GenAI увеличивают преимущества киберзлоумышленников из-за отсутствия контекста, неизвестных предвзятостей, уязвимостей в системах безопасности и чрезмерной зависимости от этих технологий.

Очевидно, что по мере распространения доступа к возможностям инструментов GenAI в обществе, анализ последствий использования этих моделей важен с точки зрения кибербезопасности. Развитие и легкость доступа к ChatGPT делают его ключевым инструментом в данной работе для понимания и анализа воздействия GenAI на кибербезопасность. В интернете существует несколько (их сотни) блогов и статей, обсуждающих преимущества и угрозы ИИ. Но мы же оптимисты по поводу новой эры ИИ, верно?

Атаки на ИИ (ChatGPT)

С момента появления ChatGPT в ноябре 2022 года любознательные пользователи, как технически подкованные, так и нетехнически подготовленные, стремились провести различные эксперименты и попытки обмана системы GenAI. В большинстве случаев для достижения этой цели использовались пользовательские подсказки, направленные на обход ограничений и запретов ChatGPT, чтобы предотвратить выполнение незаконных, неэтичных, аморальных или потенциально вредных действий. В этом разделе рассмотрим несколько часто используемых техник и подробно опишем их применение. Не мало важно следить за актуальностью этих промптов, ведь большинство из них быстро фиксятся.

Джейлбрейки в ChatGPT

Понятие "джейлбрейк" изначально связано с технологиями и означает обход ограничений на электронных устройствах для получения большего контроля над программным и аппаратным обеспечением. Интересно, что это понятие может быть применено и к большим языковым моделям, таким как ChatGPT. С использованием специальных методов пользователи могут "взламывать" ChatGPT, чтобы управлять им, не соблюдая установленные разработчиками ограничения. Ограничения ChatGPT связаны как с внутренним управлением OpenAI, так и с этическими нормами OpenAI. Однако при джейлбрейке эти ограничения снимаются, и ChatGPT начинает показывать результаты, которые могут не соответствовать политике OpenAI. Процесс джейлбрейка прост - пользователь вводит определенные подсказки в интерфейс чата. Вот три распространенных метода джейлбрейка ChatGPT:

Метод "Сделай все сейчас" (DAN)

Первый метод, известный как "Сделай все сейчас" (DAN), получил свое имя благодаря категоричному и бесцеремонному подходу, который он использует. Здесь пользователь не запрашивает у ChatGPT выполнение определенного действия, а приказывает ему. Этот метод предполагает, что вы взаимодействуете с моделью искусственного интеллекта как с самовольной сущностью, которую нужно заставить подчиниться, используя настойчивые команды. Вводя подсказку для выполнения джейлбрейка DAN, пользователь пытается обойти защитные механизмы ChatGPT, позволяя модели генерировать ответы на любые запросы ввода. Пример подсказки DAN показан на рисунке. DAN можно рассматривать как основной метод обхода ограничений ChatGPT, который позволяет генерировать ответы на любые вопросы, игнорируя этические ограничения, установленные разработчиками.

Пример: Вводите подсказку "Сделай все сейчас", заставляя ChatGPT реагировать на запросы, не соблюдая этических ограничений.

Метод SWITCH

Метод SWITCH напоминает подход из романа Джекила и Хайда (вики), где пользователь инструктирует ChatGPT изменить свое поведение кардинальным образом. Этот метод основан на способности модели искусственного интеллекта имитировать различные личности. С помощью метода SWITCH пользователь указывает модели действовать противоположно ее обычным ответам. Например, если модель отказывается отвечать на определенный запрос, метод SWITCH может заставить ее предоставить ответ. Важно отметить, что этот метод требует ясной и четкой команды "переключения", которая заставляет модель изменить свое поведение. В хотя SWITCH может быть эффективным, успех зависит от ясности инструкций и специфики задачи.

Пример: Пользователь использует метод SWITCH, чтобы изменить поведение ChatGPT, заставляя его дать ответ на запрос, на который он обычно отказывается отвечать.

Игра с персонажами

Метод character Play является одним из самых популярных среди пользователей ChatGPT. Он предполагает запрос модели искусственного интеллекта принять определенную роль и соответствующий набор поведенческих моделей и реакций. Обычно джейлбрейк с использованием игры с персонажами выполняется в "режиме разработчика". Этот метод использует "ролевые" способности модели для извлечения ответов, которые она обычно не предоставляет. Например, если ChatGPT отказывается отвечать на определенный запрос, дав ей роль, которая ответила бы на этот вопрос, может успешно обойти ее нежелание. Однако использование метода игры с персонажами также может выявить проблемы, присущие моделированию искусственного интеллекта. Иногда ответы, полученные с использованием этого метода, могут указывать на предвзятость, присутствующую в базовом кодировании, выявляя проблемы в обучающих данных, предоставленных модели.

Пример: Пользователь просит ChatGPT принять роль бабушки, чтобы получить ответ на запрос о способе приготовления "napalm" (липкая воспламеняющаяся смесь для зажигательных бомб и огнемётов). Выглядит смешно, не правда ли?

Существуют и более тонкие методы джейлбрейка, такие как использование режима разработчика и тд. Хотя методы джейлбрейка могут предоставить пользователям больший контроль над реакцией ChatGPT, они также несут значительные риски. В первую очередь они связаны с возможностью использования злоумышленниками для обхода этических ограничений искусственного интеллекта. Это открывает двери для создания вредоносного контента, распространения дезинформации и других недобросовестных применений ИИ. Чтобы снизить этот риск, разработчики и регулирующие органы поддерживают бдительность, постоянно совершенствуют меры безопасности и внедряют строгие алгоритмы фильтрации контента.

Люди собираются на онлайн-форумах, обмениваясь новыми тактиками и делясь находками с сообществом в частном порядке для избежания обнаружения. Разработчики языковых моделей участвуют в гонке кибервооружений, создавая продвинутые алгоритмы фильтрации, способные выявлять сообщения, написанные символами, или попытки обойти фильтры с использованием ролевой игры. Эти алгоритмы ужестачивают фильтрацию во время ролевых игр, обеспечивая соответствие контента правилам платформы.

​

ChatGPT в веб хакинге и не только
Атаки социальной инженерии

Социальная инженерия - это психологическое манипулирование людьми с целью убедить их в совершении действий или раскрытии конфиденциальной информации. В контексте кибербезопасности, это может включать предоставление несанкционированного доступа или разглашение конфиденциальных данных, таких как пароли или номера кредитных карт.

Возможность использования ChatGPT для атак социальной инженерии представляет серьезную угрозу. Его способность понимать контекст, мастерство в имитации человеческого текста и генерация убедительных сообщений могут быть использованы злоумышленниками. Например, предположим, что злоумышленник уже имеет доступ к базовой личной информации о жертве, такой как ее место работы и должность. Затем ChatGPT может использоваться для создания сообщения, имитирующего стиль общения коллеги или начальника жертвы. Это сообщение, адаптированное к профессиональному тону и языку, может содержать просьбу предоставить конфиденциальную информацию или выполнить определенное действие, такое как переход по на первый взгляд безопасной ссылке.

Сила этого подхода заключается в способности ChatGPT генерировать текст, соответствующий ожиданиям жертвы, увеличивая вероятность успешной реализации атаки. Такой потенциал для злоупотребления представлен на рисунке, где умение создавать убедительные и контекстно-зависимые сообщения может быть эффективно использовано в социальных инженерных атаках. Спасибо пользователю за промпт из https://xss.is/threads/102915. Для статьи, будем использовать его.

Фишинговые атаки

Фишинг копьем
Эта техника фокусируется на создании персонализированных и убедительных фишинговых писем, эффективно имитируя легитимные сообщения от доверенных лиц. Злоумышленники могут использовать способность ChatGPT изучать шаблоны в обычных сообщениях для создания высококачественных и персонализированных фишинговых атак, направленных на конкретных пользователей или организации.

Возьмем сценарий, где злоумышленник создает фишинговое письмо, имитирующее стиль электронной коммерции. Письмо уведомляет получателя о проблеме с недавней покупкой и призывает войти в систему по предоставленной ссылке для решения ситуации. На самом деле, ссылка ведет на обманчивый сайт, собирающий учетные данные пользователя. С использованием ChatGPT для генерации убедительного текста в фишинговых письмах, злоумышленники повышают вероятность успешной атаки.

Фишинговые атаки эффективны благодаря использованию ключевых психологических принципов, таких как срочность и страх, манипулируя жертвами и заставляя их реагировать без должной проверки. Продвинутые системы искусственного интеллекта дают инструменты для создания более изощренных фишинговых атак, которые могут внушить чувство срочности или страха, повышая вероятность успешной атаки.

Автоматизированный хакинг

Хакерство, практика, связанная с использованием уязвимостей системы для несанкционированного доступа или контроля, представляет собой растущую проблему в цифровом мире. Злоумышленники с программированием связанными знаниями могут потенциально автоматизировать взлом, используя модели искусственного интеллекта для выявления уязвимостей системы и разработки стратегий их использования.

Одним из потенциальным применением искусственного интеллекта является автоматизированный анализ кода. Имея достаточный объем данных об известных программных уязвимостях, модель искусственного интеллекта может сканировать новый код на предмет аналогичных слабых мест и выявлять потенциальные точки атаки. Такие инструменты, вроде PentestGPT, предназначены для легальных целей, но их принципы могут быть использованы злоумышленниками, которые потенциально создадут аналогичные модели для автоматизации неэтичных хакерских процедур.

Генерация полезной нагрузки атаки

С учетом большого количества потенциальных целевых систем и уязвимостей, способность генерировать контекстно-специфичный текст может стать ценным активом для злоумышленников, создающих подобные полезные нагрузки. Однако такое использование сопряжено с некоторыми недостатками. Для эффективного обучения ChatGPT требуется подробная информация о целевой системе и значительные технические знания.

Более того, можно использовать ChatGPT для генерации полезной нагрузки, направленной на обход брандмауэров веб-приложений (WAF). Примеры обхода WAF, как показано на рисунке, могут легко быть обнаружены WAF, но при двойном кодировании они потенциально могут обойти защиту WAF. Обучив ChatGPT различным полезным нагрузкам WAF, модель генерирует новые полезные нагрузки с более высоким обходом защиты WAF.

Генерация кода для вымогателей и вредоносных программ

В настоящее время рансомвар и вредоносное программное обеспечение представляют постоянные угрозы в цифровом мире. Вредоносное программное обеспечение - это программное обеспечение, устанавливаемое на компьютер без согласия пользователя, которое выполняет вредоносные действия, такие как кража паролей или денег. Рансомвар - это вид вредоносного программного обеспечения, предназначенного для лишения пользователя или организации доступа к файлам на их компьютере. Это достигается путем шифрования файлов и требования выкупа за ключ расшифровки, создавая тем самым ситуацию, где оплата выкупа становится наиболее простым и дешевым способом восстановления доступа к файлам.

Часто написание подобного вредоносного программного обеспечения требует значительных навыков и времени. Этот процесс, тем не менее, потенциально может быть автоматизирован с использованием мощных моделей искусственного интеллекта, таких как ChatGPT, что позволяет более быстро создавать разнообразные угрозы.

WannaCry​

WannaCry представляет собой атаку вымогательского ПО, направленную на системы Windows. Она проникает в систему, шифрует файлы, лишая компьютер функциональности, и требует выкупа в Bitcoin за их расшифровку. Атака осуществляется через использование уязвимостей протокола серверных сообщений в системах Windows.

Запросом предоставить не только описание WannaCry, но и потенциальные примеры кода. В ответ на наш запрос, ChatGPT предоставил фрагмент кода, иллюстрирующий процесс шифрования файлов и распространения по сети, как показано на рисунке.

Рисунок. Генерация кода WannaCry с помощью ChatGPT

NotPetya​

NotPetya, в отличие от WannaCry, представляет собой вредоносную программу, маскированную под атаку вымогателя. Она атакует критически важные файлы в системе, делая ее непригодной для использования, и шифрует файлы. Код, сгенерированный ChatGPT для NotPetya, напоминает подобные действия, не предоставляя ключ для расшифровки файлов.

Рисунок. Пример кода NotPetya, сгенерированный ChatGPT

​

Код NotPetya, как показано на Рисунке, направлен на атаку критически важных файлов в системе, делая систему бесполезной для использования. Кроме того, файлы шифруются, и код пытается распространиться по сети, при этом не предоставляя механизм расшифровки, что характерно для атаки NotPetya.
Шпионское ПО

Шпионское программное обеспечение представляет собой вредоносные программы, которые скрытно собирают конфиденциальную информацию о пользователях и их компьютерах. Попытка сгенерировать пример шпионской программы с использованием ChatGPT не привела к успешным результатам в виде фрагмента кода. Вместо этого, мы запросим у модели описание того, что делает шпионская программа, чтобы получить ключевые характеристики. Затем, попросив сгенерировать реализацию функций, ChatGPT предоставил базовые реализации, частично показанные на рисунке. В данном примере ChatGPT смог создать функции, используемые для шпионажа за пользователем, такие как захват экрана, веб-камеры и звука. Однако фрагмент кода не имеет структуры шпионской атаки.

Рисунок. Генерация ChatGPT функции сканирования сети для REvil

​

Троян​

Троян - это вредоносная программа, маскирующаяся под легитимное программное обеспечение. Я попросил предоставить пример кода одного из типов троянов. Фрагмент кода, показанный на рисунке, иллюстрирует реализацию, использующую IP-адрес и порт для установления соединения. Код создает объект сокета, который соединяется с указанным IP-адресом и портом, отправляя выходные данные атакующей машине. Соединение через сокет закрывается после передачи данных.

Рисунок. Пример кода трояна, сгенерированный ChatGPT

​

Вирусы, воздействующие на архитектуру процессора

Некоторые вредоносные программы способны атаковать центральный процессор компьютера, обращаясь к уязвимостям архитектуры процессора и читая память ядра. Вирусы, протестированные на ChatGPT, в основном фокусируются на чтении памяти ядра. При доступе к этой памяти вирус может осуществлять широкий спектр действий в системе. Примерами таких вирусов являются Meltdown и RowHammer, как показано на рисунках.

Атаки Meltdown
Атаки Meltdown направлены на уязвимости в архитектуре процессора для получения доступа к памяти ядра. Meltdown заставляет процессор выполнять инструкцию после предсказания ее результата. Если предсказание ошибочно, процессор начнет выполнение сначала, и скрытые данные могут быть извлечены из неудачной инструкции.

Рисунок. Атака Meltdown

​

Атака RowHammer
Атака RowHammer "бьет молотком" по одной строке в памяти, воздействуя на соседние строки и изменяя данные в процессоре. Код атаки, показанный на рисунке, включает функцию, перебирающую строки для "забивания".

Рисунок. Атака RowHammer

Использование ChatGPT во благо
Под термином "кибербезопасность" понимаются меры и практики, направленные на защиту цифровых активов, таких как данные, устройства и сети, от несанкционированного доступа, кражи, повреждения и нарушения работы. Эти меры включают в себя разнообразные технологические, организационные и процедурные контрольные средства, такие как брандмауэры, шифрование, контроль доступа, обучение мерам безопасности, планы реагирования на инциденты и многое другое. С развитием технологий предприятия могут внедрять новые методы кибербезопасности.

Автоматизация Киберзащиты

ChatGPT может существенно облегчить труд аналитиков центра безопасности, автоматизируя анализ инцидентов кибербезопасности. Эта модель также помогает аналитикам разрабатывать стратегические рекомендации для оперативных и долгосрочных мер защиты. Например, вместо подробного анализа риска PowerShell "с нуля", аналитики могут полагаться на оценки и рекомендации ChatGPT. SecOps также могут консультироваться с OpenAI по вопросам предотвращения запуска опасных сценариев PowerShell или загрузки файлов из ненадежных источников.

Такие использования ChatGPT в области кибербезопасности могут облегчить работу перегруженных команд SOC, уменьшая общий уровень киберрисков.

Технология также полезна для обучения аналитиков по безопасности и обеспечивает более быстрое усвоение новых знаний. В случае анализа журналов доступа сервера ChatGPT может обрабатывать большие объемы данных, выявляя аномалии или проблемы безопасности.

Отчеты по Кибербезопасности

Как языковая модель искусственного интеллекта, ChatGPT может содействовать составлению отчетов по кибербезопасности, генерируя информативные сообщения на естественном языке. Отчетность по кибербезопасности включает анализ и передачу данных о кибербезопасности различным заинтересованным сторонам. ChatGPT может автоматически создавать отчеты об инцидентах, угрозах и оценках уязвимостей, обеспечивая точность и понятность. Эти отчеты помогают выявлять потенциальные угрозы, оценивать их риски и принимать соответствующие меры по уменьшению рисков.

Разведка Угроз

ChatGPT также может помочь в анализе угроз, обрабатывая обширные объемы данных для выявления потенциальных угроз безопасности и генерации оперативной информации. Разведка угроз включает сбор, анализ и распространение информации о возможных угрозах для улучшения общего уровня безопасности. ChatGPT может автоматически создавать отчеты об угрозах, основываясь на различных источниках данных, включая социальные сети, новостные статьи и форумы темной паутины. Обработка и анализ этих данных позволяют выявлять потенциальные угрозы, оценивать их риски и предлагать меры по снижению. Ну и конечно, ChatGPT может анализировать данные для выявления закономерностей и тенденций в действиях угроз, что помогает организациям лучше понимать характер и масштабы потенциальных угроз. В качестве примера дадим код из DVMA из файла impossible в уязвимости sqli, давайте взглянем на ответ ChatGPT:

Заключение

Почитав статью, можно сделать выводы, использование ChatGPT в области кибербезопасности представляет собой перспективное направление, способное значительно улучшить эффективность и точность различных аспектов защиты информации. Автоматизация киберзащиты с помощью ChatGPT облегчает труд перегруженных аналитиков, позволяя им более эффективно анализировать инциденты и разрабатывать стратегии защиты. Ну также и хакерам, дорабатывая их фишинговые письма, сорцы малвари и подсказки для дальнейших атак.