보안에 쓰는 AI도
인공지능 기본법을 따져 봐야 합니다
「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」이 2026년 1월 22일부터 시행됐습니다. 보안관제 AI가 바로 고영향 인공지능이 되는 경우는 드물지만, 해당 여부를 미리 검토할 의무는 모든 인공지능사업자에게 있습니다. 그 검토와 설명에 필요한 기록을 어떻게 남기는지 정리했습니다.
무엇을 요구하나
법률 제20676호로 2025년 1월 21일 공포됐고, 부칙에 따라 공포 1년 뒤 시행됐습니다.
보안 실무와 닿는 조항만 골랐습니다.
| 조항 | 내용 |
|---|---|
| 제2조 제4호 고영향 인공지능 | 사람의 생명, 신체의 안전, 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI 시스템으로, 법에 열거된 영역에서 쓰이는 것. 에너지 공급, 먹는물 생산, 보건의료, 의료기기, 원자력시설, 범죄 수사용 생체인식정보 분석, 채용·대출 심사처럼 개인의 권리·의무에 중대한 영향을 주는 판단, 교통, 공공서비스 관련 국가기관등의 의사결정, 학생 평가, 그리고 대통령령으로 정하는 영역 |
| 제2조 제7호 인공지능사업자 | AI를 개발해 제공하는 인공지능개발사업자와, 그 AI를 이용해 제품이나 서비스를 제공하는 인공지능이용사업자 |
| 제3조 제2항 | 영향받는 자는 AI 최종결과 도출에 쓰인 주요 기준과 원리에 대해 기술적·합리적으로 가능한 범위에서 명확하고 의미 있는 설명을 받을 수 있어야 함 |
| 제31조 투명성 확보 의무 | 고영향 또는 생성형 AI 기반 제품·서비스임을 이용자에게 사전 고지. 생성형 AI 결과물임을 표시. 실제와 구분하기 어려운 음향·이미지·영상은 이용자가 명확히 알 수 있게 고지 또는 표시 |
| 제33조 고영향 인공지능의 확인 | AI 제품·서비스를 제공할 때 고영향 인공지능에 해당하는지 사전에 검토해야 하고, 필요하면 과학기술정보통신부장관에게 확인을 요청할 수 있음 |
| 제34조 고영향 인공지능 사업자 책무 | 위험관리방안 수립·운영, 최종결과와 주요 기준, 학습용데이터 개요 등에 대한 설명 방안, 이용자 보호 방안, 사람의 관리·감독, 안전성·신뢰성 확보 조치를 확인할 수 있는 문서의 작성과 보관 등 |
| 제35조 영향평가 | 고영향 AI 제품·서비스를 제공할 때 기본권 영향평가를 하도록 노력. 국가기관등은 영향평가를 거친 제품·서비스를 우선 고려 |
| 제43조 과태료 | 제31조 제1항의 고지를 하지 않은 경우 등 3천만원 이하 |
보안관제 AI는 고영향 인공지능일까
법에 열거된 영역에 "사이버보안"은 따로 없습니다. 악성코드를 판정하거나 침입 경보를 묶는 AI는 대부분 열거된 영역 밖에 있다고 저희는 봅니다.
다만 쓰는 방식에 따라 달라질 수 있습니다. 예를 들어 내부자 위협 점수를 직원 징계나 인사 평가의 근거로 직접 쓴다면, 개인의 권리·의무에 중대한 영향을 주는 판단에 가까워집니다. 공공기관이 관제 결과로 국민에게 영향을 주는 결정을 내리는 경우도 따져 봐야 합니다. 대통령령에서 영역이 추가될 수도 있으니 시행령도 함께 확인하셔야 합니다.
어느 쪽이든 제33조의 사전 검토는 해야 하고, 그 검토를 했다는 기록이 남아 있어야 나중에 설명할 수 있습니다. 해석이 애매하면 과기정통부장관에게 확인을 요청하는 절차도 있습니다.
회사 안에서만 쓰는 보안 AI라면
자사 보안 운영에만 AI를 쓰고 그걸로 외부에 제품이나 서비스를 제공하지 않는다면, 법상 인공지능이용사업자에 해당하는지부터 해석이 갈릴 수 있습니다. 이 부분은 법무 검토를 받으시길 권합니다.
Genox는 AI를 개발해 제공하는 쪽이므로, Genox Cybersecurity AI 자체가 고영향 인공지능에 해당하는지 검토하는 일은 Genox의 몫입니다.
요구 사항과 Genox 기능의 관계
아래 기능은 의무를 준비할 때 쓸 수 있는 기록과 절차입니다.
Genox를 쓴다고 법을 준수했다고 인정되지는 않습니다.
| 요구 사항 | 관련 Genox 기능 / 서비스 | 고객이 직접 해야 하는 일 |
|---|---|---|
| 제33조 고영향 해당 여부 사전 검토 | AI 거버넌스 컨설팅에서 사내 AI 사용처 목록과 검토 기준 정리 | 사용처별 해당 여부 판단, 필요 시 과기정통부 확인 요청 |
| 제3조 제2항 · 제34조 제1항 제2호 설명 | 판정마다 증거, 근거, 신뢰도, ATT&CK 기법 ID가 한 묶음으로 저장되는 근거 체인 | 영향받는 사람에게 어떤 방식으로 설명할지 정하고 응대 |
| 제34조 제1항 제4호 사람의 관리·감독 | 격리, 차단, 계정 잠금은 분석가 승인을 거치고, 자동 대응은 합의한 정책 범위 안에서만 동작 | 승인 권한자 지정, 자동 대응 정책 범위 결정 |
| 제34조 제1항 제5호 문서 작성과 보관 | 판정에 쓴 입력 데이터, 모델 버전, 정책 버전 저장과 재실행 비교, 서명된 감사 로그 | 보관 기간 결정, 문서 체계에 편입 |
| 제34조 제1항 제1호 위험관리방안 | AI/LLM 레드팀 진단 결과를 위험 식별 자료로 제공 | 위험관리방안 수립과 운영, 잔여 위험 수용 결정 |
| 제31조 투명성 고지·표시 | 관련 기능 없음 | 고객이 외부에 제공하는 AI 서비스의 사전 고지와 결과물 표시 |
AI 모델 특성상 다시 돌렸을 때 문장 표현까지 똑같이 나온다고 보장하지는 않습니다. 판정이 달라지면 그 차이를 기록으로 남깁니다.
직접 만든 AI 서비스라면 공격해 보고 내놓으세요
상담 챗봇이나 사내 업무 에이전트처럼 생성형 AI를 붙인 서비스를 운영하면 제31조 고지·표시 의무가 생기고, 고영향 영역이라면 제34조 위험관리까지 따라옵니다.
- 직접·간접 프롬프트 인젝션과 탈옥, 툴 조작 공격을 반복 실행합니다.
- 영어 데이터셋으로는 잘 안 걸리는 한국어 우회 표현을 따로 시험합니다.
- 성공한 공격은 재현 절차와 가드레일 규칙 초안으로 정리해 드립니다. 위험관리 문서의 근거 자료로 쓸 수 있습니다.
- 모든 공격을 찾아낸다고 보장하지는 않습니다. 시험한 범위와 시나리오를 결과 보고서에 그대로 적습니다.
자주 묻는 질문
Genox Cybersecurity AI는 고영향 인공지능인가요?
Genox는 악성코드 판정, 경보 상관분석, 취약점 우선순위 같은 보안 운영 용도로 설계했고, 법에 열거된 영역을 직접 겨냥하지 않습니다. 다만 고객이 쓰는 방식에 따라 판단이 달라질 수 있어, 도입 시 사용처를 함께 확인합니다.
설명 의무에 대응하려면 무엇을 남겨야 하나요?
어떤 데이터를 보고, 어떤 기준으로, 어떤 결론을 냈는지가 한 기록으로 이어져 있어야 합니다. Genox는 판정마다 증거와 근거, 신뢰도, 판정과 어긋나는 증거까지 같이 남깁니다. 학습용데이터 개요처럼 모델 개발 단계의 정보가 필요하면 Genox에 요청해 주세요. 제공할 수 있는 범위를 확인해 알려 드립니다.
Genox는 ISO/IEC 42001 인증을 받았나요?
아직 받지 않았습니다. 준비 중이며, 일정은 Trust Center에 공개해 두었습니다.
금융회사라면 무엇을 같이 봐야 하나요?
금융위원회의 금융분야 인공지능 가이드라인이 2026년 6월 22일부터 시행됐습니다. 자율규제지만 고영향 인공지능에 해당하면 이 법의 의무가 별도로 붙는다고 명시돼 있습니다. 전자금융감독규정 · 금융 AI 페이지에 정리해 두었습니다.
참고 자료
- 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법, 국가법령정보센터
- 같은 법 시행령, 국가법령정보센터
- 금융분야 인공지능 가이드라인 발표, 금융위원회 보도자료, 2026.6.18
사내 AI 사용처 목록부터 같이 만들어 보시죠
어떤 부서가 어떤 AI를 어디에 쓰는지 정리돼 있지 않다면 그것부터 시작합니다.
고영향 해당 여부 검토와 레드팀 범위는 그다음에 정합니다.