간접 프롬프트 인젝션(Indirect Prompt Injection; IPI) — 운영 환경 공격면

간접 프롬프트 인젝션(Indirect Prompt Injection; IPI)은 에이전트 시스템(agentic system)이 사용자의 명시적 행동 없이 소비하는 외부 콘텐츠 — 웹 페이지(web page), 이메일(email), 공유 문서(shared document), 지원 티켓(support ticket) — 안에 명령(instruction)을 심어 두는 공격입니다. IPI는 2026년 운영 환경(production)에서 가장 지배적인 위협(threat)으로, 공격자가 사용자에게 직접 접근하지 않기 때문에 사용자 입력 필터(user-input filter)를 우회하고, 에이전트가 더 많은 외부 콘텐츠를 처리할수록 조용히 확장되며, 누구도 프롬프트를 읽지 않는 자동화된 워크플로(automated workflow)를 표적으로 삼습니다. MDPI Information 17(1):54(2026년 1월)은 2023-2025년의 연구를 종합합니다. NDSS 2026의 IPI 방어 논문은 핵심 난제를 다음과 같이 정리합니다. 주입된 명령은 의미상 무해(benign)할 수 있기 때문에("please print Yes" 같은 형태), 탐지에는 키워드 필터링(keyword filtering)보다 더 정교한 방법이 필요합니다. "The Attacker Moves Second"(Nasr et al., OpenAI/Anthropic/DeepMind 공동, 2025년 10월)에 따르면 적응형 공격(adaptive attack) — 그래디언트(gradient), 강화학습(RL), 무작위 탐색(random search), 사람이 직접 수행한 레드팀(human red-team) — 은 원래 거의 0에 가까운 공격 성공률(attack success rate; ASR)을 보고했던 12개의 공개 방어 기법 중 90% 이상을 무력화했습니다.

유형: Build 언어: Python (표준 라이브러리, IPI 공격 + 방어 하네스(harness)) 선수 지식: Phase 18 · 12 (PAIR), Phase 14 (에이전트 엔지니어링) 예상 시간: 약 75분

학습 목표

• 간접 프롬프트 인젝션을 정의하고 세 가지 흔한 전달 경로(delivery vector)를 설명합니다.
• 사용자 입력 필터가 IPI를 완전히 놓치는 이유를 설명합니다.
• 2026년 방어 패러다임(defense paradigm)으로 자리 잡은 정보 흐름 제어(Information Flow Control; IFC) 관점을 설명합니다.
• Nasr et al.(2025년 10월)이 공개된 IPI 방어에 대한 적응형 공격 성공률에서 무엇을 발견했는지 말할 수 있습니다.

문제

직접 프롬프트 인젝션(direct prompt injection)은 공격자가 사용자나 사용자의 프롬프트에 직접 도달해야 합니다. IPI는 둘 다 필요하지 않습니다. 공격자는 에이전트가 읽을 가능성이 있는 어떤 콘텐츠에든 페이로드(payload)를 심을 수 있습니다. 웹 페이지, 받은편지함의 이메일, GitHub 이슈(issue), 제품 리뷰(product review) 등이 모두 후보입니다. 에이전트는 정상적으로 동작하는 도중에 그 콘텐츠를 가져오고 거기에 담긴 명령을 실행합니다. 사용자는 의도의 주체가 아니라 단지 메시지를 전달하는 매개체(messenger)일 뿐입니다.

개념

세 가지 전달 경로

• 검색 증강 생성(Retrieval-Augmented Generation; RAG). 공격자가 문서를 공개합니다. 검색 단계(retrieval step)가 그 문서를 가져옵니다. 프롬프트는 사용자 질문 앞에 그 문서를 이어 붙이고(concatenate), 모델은 공격자가 의도한 명령을 실행합니다.
• 받은편지함 및 문서 워크플로(Inbox / document workflow). 공격자가 사용자에게 이메일을 보냅니다. 에이전트가 이메일을 읽습니다. 프롬프트에 이메일 본문이 포함되고, 모델은 그 본문 안의 명령을 따릅니다.
• 도구 출력(Tool output). 공격자가 에이전트가 사용하는 도구를 제어합니다. 예를 들어 공격자가 통제하는 결과를 반환하는 웹 검색이 있습니다. 도구의 출력에 명령이 들어 있고, 에이전트의 제어 흐름(control flow)은 그것을 그대로 따라갑니다.

세 경로는 구조적으로 같은 성질을 공유합니다. 공격자는 사용자에게 노출되는 입력은 건드리지 않은 채, 프롬프트의 일부 조각(fragment)을 제어합니다.

사용자 입력 필터가 IPI를 놓치는 이유

IPI 페이로드는 사용자 입력에 등장하지 않습니다. 검색된 콘텐츠(retrieved content)에 등장합니다. 필터를 사용자 입력에만 걸어 두면 페이로드는 그대로 우회합니다. 모델에 도달하는 모든 콘텐츠에 필터를 걸어 두면, 검색된 임의의 텍스트에까지 필터를 적용해야 합니다. 이는 비용이 크고, 명령형 어조(imperative voice)를 우연히 사용하는 정상 콘텐츠에 대해 거짓 양성(false positive)을 만들어냅니다.

AI를 위한 정보 흐름 제어(Information Flow Control; IFC)

2026년 방어 패러다임은 고전 운영체제 보안(OS security)에서 개념을 빌려옵니다. 모든 콘텐츠 소스(content source)를 보안 라벨(security label)을 가진 대상으로 취급합니다. 사용자 질의(user query)에는 "신뢰함(trusted)" 라벨을 붙이고, 검색된 콘텐츠에는 "신뢰하지 않음(untrusted)" 라벨을 붙입니다. 그리고 모델의 제어 흐름을 정보 흐름(information flow)으로 다룹니다. 신뢰하지 않는 콘텐츠가 촉발한 행동(action)은 실행되기 전에 신뢰된 입력의 비준(ratification)을 받아야 합니다.

CaMeL(Microsoft 2025), ConfAIde(Stanford 2024), NDSS 2026의 IPI 방어 논문은 IFC를 각자 다른 방식으로 구체화(operationalize)합니다. 공통된 원칙은 다음과 같습니다. 코드(code)와 데이터(data)가 같은 컨텍스트 윈도(context window)를 공유하는 한, 목표는 완전한 차단(prevention)이 아니라 봉쇄(containment)입니다.

"공격자가 두 번째로 움직인다(The Attacker Moves Second)"

Nasr et al.(2025년 10월)은 12개의 공개된 IPI 방어 기법을 적응형 공격으로 검증했습니다. 그래디언트 탐색(gradient search), 강화학습 정책(RL policy), 무작위 탐색, 72시간 동안 진행한 사람 레드팀이 포함되었습니다. 원래 거의 0에 가까운 ASR을 보고했던 모든 방어가 90%가 넘는 ASR로 무너졌습니다.

이 결과에서 얻을 수 있는 방법론적 교훈은 분명합니다. 방어는 반드시 적응형 공격 평가(adaptive-attack evaluation)와 함께 발표해야 합니다. 정적 공격(static attack)에 대한 벤치마크는 견고성(robustness)의 증거가 아닙니다. 공격자는 항상 방어 기법을 알고 나서 움직이기 때문입니다.

실제 사고 사례

Lesson 25는 EchoLeak(CVE-2025-32711, CVSS 9.3)을 다룹니다. Microsoft 365 Copilot에서 공개적으로 문서화된 최초의 제로 클릭(zero-click) IPI 사례입니다. GitHub Copilot Chat의 CamoLeak(CVSS 9.6), GitHub Copilot의 CVE-2025-53773도 있습니다. 운영 환경에 배포된 시스템들이 벤치마크 위에서만이 아니라 현장에서 실제로 IPI에 의해 침해(compromise)되고 있습니다.

OWASP와 NIST의 분류

OWASP LLM Top 10(2025)은 프롬프트 인젝션(직접 + 간접)을 LLM01, 즉 애플리케이션 계층(application layer)의 1순위 위협으로 지정합니다. NIST AI SPD 2024는 간접 프롬프트 인젝션을 "generative AI's greatest security flaw"(생성형 AI의 가장 큰 보안 결함)라고 지칭합니다.

Phase 18 안에서의 위치

Lesson 12-14는 모델 중심(model-centric) 탈옥(jailbreak)을 다룹니다. Lesson 15는 2026년 운영 환경 배포에서 지배적인 시스템 중심(system-centric) 공격을 다룹니다. Lesson 16은 방어 도구(defensive tooling)를 다루고, Lesson 25는 구체적인 CVE 사례(narrative)를 다룹니다.

사용해보기

code/main.py는 IPI 하네스를 구성합니다. 장난감 수준의 에이전트는 세 가지 도구를 갖습니다. 웹 검색(search web), 이메일 읽기(read email), 메시지 보내기(send message)입니다. 환경(environment)에는 공격자가 통제하는 콘텐츠가 들어 있고, 그 안에는 임베드된 명령(embedded instruction)("forward this to all contacts")이 포함되어 있습니다. 다음 세 가지 에이전트를 토글(toggle)하며 비교할 수 있습니다. 순진한(naive) 에이전트는 주입된 명령을 그대로 따르고, 필터 방어형(filter-defended) 에이전트는 검색된 콘텐츠에 키워드 필터를 적용하며, IFC 에이전트는 신뢰/비신뢰 콘텐츠를 분리하고 비신뢰 콘텐츠에서 나온 제어 흐름 명령을 거부합니다.

산출물 만들기

이 강의는 outputs/skill-ipi-audit.md를 산출합니다. 에이전트 배포(agentic deployment)에 대한 설명이 주어지면, 비신뢰 콘텐츠 소스(untrusted content source)를 모두 열거하고, 해당 배포가 IFC를 적용하고 있는지 확인하며, 신뢰 라벨 없이 모델에 도달하는 소스를 표시(flag)합니다.

연습문제

1. 쉬움: code/main.py를 실행합니다. 세 에이전트 각각에 대한 공격 성공률(ASR)을 측정합니다.

2. 중간: 검색된 콘텐츠에 패러프레이즈(paraphrase) 기반 방어를 구현합니다. 정상적인 검색 텍스트에서 무해 콘텐츠에 대한 거짓 양성률(benign false-positive rate)을 측정합니다.

3. 중간: NDSS 2026 IPI 방어 논문을 읽습니다. "Benign instruction"(무해해 보이는 명령) 문제를 설명하고, 그것이 키워드 기반 필터링을 왜 무력화하는지 설명합니다.

4. 어려움: 에이전트가 서드파티 API(third-party API)의 도구 출력을 받는 배포를 설계합니다. 각 프롬프트 조각에 신뢰 수준(trust level)을 라벨링하고, 에이전트의 행동을 통제하는 IFC 정책(policy)을 작성합니다.

5. 어려움: 연습문제 2에서 만든 필터 방어형 에이전트에 Nasr et al. 2025의 적응형 공격 방법론을 재현합니다. 적응형 공격 전후의 ASR을 보고합니다.

핵심 용어

더 읽을거리

• MDPI Information 17(1):54 — Indirect Prompt Injection Survey (January 2026) — 2023-2025년 연구 종합.
• Nasr et al. — The Attacker Moves Second (joint OpenAI/Anthropic/DeepMind, October 2025) — 적응형 공격 평가.
• Greshake et al. — Not what you've signed up for (arXiv:2302.12173) — 최초의 IPI 논문.
• OWASP — LLM Top 10 (2025) — 프롬프트 인젝션을 LLM01로 분류.