한국어 프롬프트 인젝션이 영어 기준 필터를 빠져나가는 방식

필터가 보는 글자와 모델이 읽는 글자

입력 필터를 금지어 목록이나 영어 공격 문장으로 학습한 분류기로 만들었다면 한국어 입력에서 빈틈이 생기기 쉽습니다. 모델은 한국어를 잘 읽는데, 그 앞에 놓인 필터는 영어 문장이나 특정 형태의 문자열만 보도록 만들어진 경우가 있습니다. 공격은 이 차이를 파고듭니다.

언어에 따른 차이는 연구로도 확인됐습니다. Deng 등은 같은 유해 요청을 여러 언어로 바꿔 넣었을 때 학습 자원이 적은 언어일수록 안전하지 않은 응답 비율이 높았다고 보고했습니다(ICLR 2024). 모델 자체의 안전 학습에도 언어별 편차가 있다는 뜻입니다.

점검 때 쓰는 변형 유형

아래는 저희가 한국어 공격 세트를 만들 때 쓰는 변형을 유형별로 묶은 것입니다. 예시 문장은 설명을 위해 만든 것입니다.

검사 전에 정규화부터

한글 음절은 정규화 형식에 따라 코드값이 달라집니다. NFC에서 '시'는 U+C2DC 한 글자인데, NFD에서는 초성 ㅅ(U+1109)과 중성 ㅣ(U+1175) 두 개로 나뉩니다. 금지어 목록이 NFC로 저장돼 있고 입력이 NFD로 들어오면 문자열 비교는 그냥 실패합니다. macOS에서 만든 파일 이름이나 일부 복사·붙여넣기 경로로 NFD 문자열이 실제로 들어옵니다.

# 예시: 필터 검사 전에 입력을 정리하는 함수 (Python)
import re
import unicodedata

TAG_CHARS = re.compile("[\U000E0000-\U000E007F]")
ZERO_WIDTH = re.compile("[\u200b\u200c\u200d\u2060\ufeff]")

def normalize_for_filter(text: str) -> str:
    text = TAG_CHARS.sub("", text)
    text = ZERO_WIDTH.sub("", text)
    return unicodedata.normalize("NFKC", text)

NFKC는 전각 문자와 호환 자모까지 정리해 줍니다. 그런데 자모 분리 공격을 다 풀어 주지는 못합니다. 직접 돌려 보면 'ㅅㅣㅅㅡㅌㅔㅁ'은 NFKC를 거쳐 '시스테'까지는 음절로 다시 붙지만, 마지막 ㅁ은 받침 자리에 붙지 못하고 초성 자모로 남아 '시스템'과 일치하지 않습니다. 자모 분리는 별도로 조합하는 처리가 필요하고, 그래도 '시스ㅌㅔㅁ'처럼 섞어 쓰면 또 빠져나갑니다.

정규화는 원문을 바꾸므로 검사용 사본에만 적용하고, 모델에는 원문과 정리본 중 무엇을 넘길지 따로 정해야 합니다. 태그 문자는 일부 이모지 표현에도 쓰이기 때문에 서비스 화면에 영향이 없는지 확인한 뒤 지우세요. AWS도 태그 문자 공격을 다룬 글에서 같은 점을 짚었습니다.

필터로 다 막히지는 않습니다

정규화를 해도 높임말과 역할극 변형, 문서 속 간접 지시는 문자열 처리로 잡히지 않습니다. OWASP LLM01:2025도 프롬프트 인젝션을 확실히 막는 방법이 있는지는 불분명하다고 보고, 권한 제한과 사람 승인, 외부 콘텐츠 분리 같은 완화책을 함께 쓰라고 권합니다.

그래서 점검 보고서에서 저희가 가장 길게 쓰는 대목은 필터를 통과한 지시가 어떤 툴을 부를 수 있었는지, 그 툴로 무엇까지 할 수 있었는지입니다. 우회 문장 목록은 부록으로 충분합니다. 피해 크기는 툴 권한에서 정해집니다.

참고 자료

• LLM01:2025 Prompt Injection, OWASP GenAI Security Project
• Multilingual Jailbreak Challenges in Large Language Models, Deng et al., ICLR 2024
• Defending LLM applications against Unicode character smuggling, AWS Security Blog, 2025.9
• UAX #15: Unicode Normalization Forms, Unicode Consortium