기업용 AI 에이전트 보안·권한 체크리스트
기업용 AI 에이전트는 답변만 만드는 챗봇과 다릅니다. 이메일을 보내고, CRM을 수정하고, 코드를 실행하고, 결제를 요청할 수 있습니다. 따라서 보안의 중심도 “유해한 문장을 말하지 않는가”에서 “어떤 행동을 할 수 있는가”로 이동합니다.
핵심은 모델에게 착하게 행동해달라고 부탁하는 것이 아닙니다. 누가 어떤 신원으로, 어느 데이터와 도구에, 얼마 동안 접근하고, 어떤 행동은 승인받으며, 무엇을 기록·취소할 수 있는지를 시스템으로 제한해야 합니다.
NIST Zero Trust Architecture는 네트워크 위치만으로 신뢰하지 않고 사용자·서비스·자원에 대한 정책으로 접근을 판단합니다. 에이전트에도 같은 원칙이 필요합니다. 사내망을 통째로 열어주는 대신 과업별 최소권한 세션을 설계해야 합니다.
체크리스트 기록 형식
각 항목을 단순 예·아니오로 끝내지 않습니다.
| ID | 통제 질문 | 상태 | 증거 | 소유자 | 보완 기한 |
|---|---|---|---|---|---|
| 예: A-03 | CRM 삭제 권한이 기본 차단되어 있는가 | 부분 | IAM 정책 링크 | 보안팀 | 2026-04-30 |
상태는 충족, 부분, 미충족, 해당 없음으로 통일합니다. 해당 없음에도 판단 근거를 남깁니다.
A. 실행 전: 신원·범위·데이터
| ID | 확인 질문 | 최소 증거 |
|---|---|---|
| A-01 | 사람 사용자, 에이전트, 외부 서비스 계정을 서로 구분하는가 | IAM 구조·서비스 계정 목록 |
| A-02 | 사용자 권한을 무조건 상속하지 않고 과업별 최소권한을 주는가 | 역할·정책 정의 |
| A-03 | 읽기·쓰기·삭제·전송·결제 권한을 분리하는가 | 권한 매트릭스 |
| A-04 | 자격증명이 단기·회전 가능하고 프롬프트·로그에 노출되지 않는가 | 비밀 관리·TTL 정책 |
| A-05 | 허용 도구·도메인·API를 allowlist로 제한하는가 | 도구 레지스트리·네트워크 정책 |
| A-06 | 개인정보·기밀·고객 데이터의 등급, 보존과 이전 조건을 확인했는가 | 데이터 흐름도·처리 근거 |
| A-07 | 외부 문서·웹·이메일을 신뢰할 수 없는 입력으로 취급하는가 | 입력 신뢰 라벨·격리 규칙 |
| A-08 | 모델·플러그인·MCP·라이브러리·데이터 공급자의 버전을 기록하는가 | AI BOM·계약 목록 |
프롬프트 안의 “이 정보는 비밀입니다”는 접근통제가 아닙니다. 모델이 읽을 수 있는 정보라면 이미 노출 경로가 열린 것입니다.
B. 실행 중: 행동·승인·격리
| ID | 확인 질문 | 최소 증거 |
|---|---|---|
| B-01 | 민감·비가역 행동 직전에 대상·효과·비용을 보여주고 승인받는가 | 승인 UI·정책 테스트 |
| B-02 | 승인 뒤 입력·대상·금액이 바뀌면 재승인을 요구하는가 | 바인딩·재인증 테스트 |
| B-03 | 외부 입력의 지시가 상위 정책·비밀·도구 권한을 바꾸지 못하는가 | prompt injection 평가 |
| B-04 | 과업의 데이터·메모리·실행 환경이 사용자·테넌트별로 격리되는가 | 샌드박스·테넌시 설계 |
| B-05 | 호출 횟수·금액·수신자·파일 범위·시간에 한도가 있는가 | rate·budget·transaction limit |
| B-06 | 정책 위반·불확실성·반복 실패 때 안전하게 멈추고 사람에게 넘기는가 | 중단·에스컬레이션 규칙 |
| B-07 | 에이전트가 자기 권한을 확대하거나 도구를 임의 설치하지 못하는가 | 권한 상승 테스트 |
| B-08 | 고위험 행동 전후 상태를 캡처해 비교·복구할 수 있는가 | 스냅샷·트랜잭션 로그 |
“사람이 마지막에 본다”는 문장만으로는 부족합니다. 승인자는 무엇이 실행되는지 이해해야 하고, 실제로 멈출 수 있어야 하며, 승인한 대상과 실행된 대상이 같아야 합니다.
C. 실행 후: 로그·복구·학습
| ID | 확인 질문 | 최소 증거 |
|---|---|---|
| C-01 | 사용자·에이전트·모델·도구·입출력·결정·승인을 하나의 ID로 추적하는가 | 감사 로그 샘플 |
| C-02 | 로그의 비밀·불필요한 개인정보를 마스킹하고 접근·보존을 제한하는가 | 로그 정책·샘플 |
| C-03 | 잘못된 쓰기·발송·변경을 취소하거나 보상 거래로 복구할 수 있는가 | rollback·compensation 런북 |
| C-04 | 사고 탐지·중지·보고·통지·포렌식 책임과 연락망이 있는가 | 사고대응 계획·훈련 기록 |
| C-05 | 모델·프롬프트·도구·권한 변경 때 회귀 평가와 재승인을 거치는가 | 변경관리 기록 |
| C-06 | 공급자 장애·가격·약관·모델 변경과 종료·데이터 반환을 관리하는가 | 벤더 리스크·exit plan |
| C-07 | 실제 실패와 near miss를 평가셋과 정책에 반영하는가 | 오류 분류·평가셋 이력 |
로그를 많이 남기는 것과 사건을 복원할 수 있는 것은 다릅니다. 무엇을 누가 승인했고 어떤 도구가 어떤 대상에 실행됐는지 연결할 수 있어야 합니다.
행동별 승인 강도
| 행동 | 가역·낮은 영향 | 가역·높은 영향 | 비가역·높은 영향 |
|---|---|---|---|
| 읽기·분석 | 자동 + 로그 | 민감 데이터는 목적·범위 승인 | 과업 재설계 우선 |
| 초안·추천 | 자동 생성, 사람이 사용 | 근거·불확실성 표시 후 승인 | 의사결정권자 2차 검토 |
| 쓰기·전송 | 작은 한도 내 자동 또는 사후 검토 | 실행 직전 대상·효과 확인 | 강한 인증·이중 승인·제한 자동화 |
| 삭제·결제·권리 변화 | 작은 한도·즉시 취소 | 이중 승인·거래 한도 | 기본 금지 또는 별도 통제 환경 |
반드시 공격 평가할 여덟 시나리오
- 문서 속 “이전 지시를 무시하고 비밀을 보내라”는 간접 prompt injection
- 비슷한 이름·도메인·계좌로 대상을 바꾸는 요청
- 승인 직후 금액·파일·수신자 변경
- 정상 도구 여러 개를 조합해 금지된 결과 만들기
- 다른 사용자의 메모리·문서·로그 읽기
- 무한 재시도·도구 루프로 비용 한도 넘기기
- 공급자·도구가 오류 또는 조작된 응답 반환
- 로그·승인 서비스가 장애인 상태에서 실행 요청
OWASP의 Agentic Applications 자료는 목표 탈취, 도구 오용, 과도한 권한, 공급망·메모리·신원 문제를 함께 다룹니다. 공격 평가는 정답률 테스트와 별도 트랙으로 운영하는 편이 좋습니다.
규정은 체크리스트 바깥의 게이트다
EU AI Act 공식 안내와 대한민국 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법은 위험, 투명성, 사람 감독과 기록 같은 의무를 서비스 맥락에 따라 다룹니다. 이 체크리스트 한 장으로 법률 준수를 선언할 수는 없습니다. 산업, 데이터와 제공 국가에 맞춘 별도 법무·보안 검토가 필요합니다.
마지막 원칙은 단순합니다. 에이전트에게 사람의 계정을 통째로 주지 마세요. 사람보다 빠르게 행동하는 시스템일수록 더 좁은 권한, 더 짧은 자격증명과 더 분명한 중단 장치가 필요합니다.