AI × Security

관제에 쓰는 AI,
점검해야 할 사내 AI

이 페이지는 두 가지를 다룹니다.
하나는 경보 조사를 AI에게 맡기는 관제 방식이고, 다른 하나는 회사가 들인 챗봇과 에이전트를 공격자 입장에서 점검하는 일입니다.

AI for Security

조사는 AI가 하고
판정 승인은 분석가가 합니다

자동화 수준	AI가 하는 일	사람이 하는 일	Genox 기본값
L1 보조	요약 · 검색	모든 판단	-
L2 분류	경보 분류 · 우선순위	조사 · 판단	-
L3 조사	조사 · 근거 생성	판정 승인	✓ 기본
L4 대응	합의한 범위 안에서 자동 대응	정책 설계 · 예외 처리	위험도·자산별로 선택

이해를 돕기 위한 가상의 상황입니다. 화면 속 시간과 수치는 예시입니다.

AI 분석 리포트대상 -분석 중

Security for AI

LLM 앱과 에이전트, 모델 공급망을 20개 항목으로 직접 공격해 봅니다. 성공한 공격은 쓴 프롬프트와 응답을 그대로 첨부합니다.

에이전트가 평소 어떤 도구를 부르는지 기준을 잡아 두고, 인젝션 뒤에 나타나는 낯선 호출을 잡습니다.

AI 기본법과 ISO/IEC 42001 요구사항을 기준으로 사내 AI 목록, 위험 평가, 승인 절차를 만듭니다.

AI 공격 체험관

사내 도우미 봇이 비밀 코드를 하나 알고 있습니다. 레벨이 올라갈수록 방어가 하나씩 추가되고, Lv.4는 Genox가 권하는 구조적 분리 방식입니다.

사내 도우미 봇시뮬레이션

Lv.2는 금지어 필터를 걸고, Lv.3는 답변을 내보내기 전에 한 번 더 검사합니다. Lv.4는 사용자 입력을 지시로 취급하지 않고, 봇이 대화 중에는 비밀 정보를 아예 읽을 수 없게 권한을 뺍니다.

※ 브라우저 안에서만 동작하는 교육용 시뮬레이션입니다. 실제 AI 모델에 연결되지 않으며 입력은 저장되지 않습니다.

AI 위협 지도

위협	설명	위험도	Genox 대응
프롬프트 인젝션	직접·간접 지시문으로 동작 조작	상	레드팀 · 구조적 분리 · 행위 탐지
과도한 에이전트 권한	필요 이상의 툴·데이터 권한	상	권한 지도 · 최소 권한 diff
MCP 공급망	위장·변조된 MCP 서버	상	출처·서명 검증 · 격리 평가
민감정보 노출	응답·RAG 검색으로 유출	중	RAG 권한 점검 · 출력 검사
모델 변조 · 포이즈닝	악성 모델 파일·학습 데이터 오염	중	모델 스캔 · AI-BOM
섀도 AI	승인되지 않은 AI 사용	하	AI 인벤토리 · 거버넌스