1. 조직의 모든 AI을 위험관리 대상으로 한다?
기업(AI개발사업자, AI이용사업자)에서 구축 및 도입하는 AI 제품 또는 서비스는 그 유형과 종류가 다양하다. 또한, 기존 IT시스템과 다른 특성이 있기 때문에 인공지능(AI)기본법 대응을 위한 현황조사부터 어려움을 겪기 마련이다. 결국 기본법이 기업에게 요구하는 사항을 간략하게 요약하면 아래와 같다.
- AI의 안전성 확보
- AI로 인한 위험의 사전 식별 및 관리
- AI의사결정에 대한 책임성과 투명성 확보
그러나 기본법은 현재 “무엇을 해야하는가”는 규정하고 고영향 AI는 ‘사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI시스템’이라고 명시하고 있지만 “어떤 AI가 대상인가”에 대한 구체적인 기준은 제시하지 않고 있어서 이로 인한 현장의 애로 사항을 요약하면 아래와 같다.
- 모든 AI를 동일하게 관리하는 것은 비효율적인지 않은가?
- 관리대상 누락으로 인한 규제 리스크는 얼마나 되는가?
- 내부 기준의 부재로 인한 감사대응시 문제가 되는가?
즉, 기본법의 취지와 글로벌 표준과 참조 모델을 고려하면 기업은 아래와 같은 고민에 직면하게 된다.
- 어떤 AI를 관리해야 하는지?
- 어디까지를 규제 대상에 포함해야 하는지?
- 어떤 기준으로 위험관리 대상을 선정해야 하는지?
2. 위험관리 대상 AI 선정을 위한 기준(안)은 무엇일까?
위험관리 대상 AI선정을 위한 기준(안)은 AI기본법의 핵심내용과 취지, 글로벌 표준 및 규제 프레임워크인 NIST AI Risk Management Framework, OECD AI Principles, European Commission AI Act 등을 참고하였다.
- 기술이 아닌 영향 중심으로 판단한다
- 정량과 정성적 관점을 포괄적으로 적용한다
- 기본법과 글로벌 정합성을 확보한다
- 감사 및 감독 대응을 위한 설명 가능성을 확보한다
위험관리 대상 AI 선정기준(안)은 IT, Non-IT, 비즈니스, Non-비즈니스 등 다양한 조직이 사용하기 때문에 직관적으로 이해하고 판단할 수 있는 간결한 질문 형식과 내용으로 설계하였다. 이 기준(안)을 기반으로 기업의 환경에 맞게 커스터마이징하고 평가 정책을 적용할 것을 권고한다.
| # | 평가기준 | 판단 질문 | 적용대상(Yes/No) |
| 1 | 권리.안전.영향 | AI 결과가 개인의 권리(금융거래, 고용, 교육 등) 또는 안전(신체, 재산)에 직접적인 영향을 미치는가? | [Yes]신용평가, 의료진단, 채용평가[No]문서요약, 검색 보조 |
| 2 | 의사결정 관여도 | AI 출력이 단순 참고가 아니라 승인거절 등 실제 의사결정 또는 그에 준하는 판단에 직접 사용되는가? | [Yes]대출승인 자동화, 채용필터링[No]참고리포트 |
| 3 | 사용영역 민감도 | 해당 AI가 금융, 의료, 고용, 출입통제 등 개인의 권리에 중대한 영향을 주는 영역에서 사용되는가? | [Yes]금융심사, 생체인식[No]마케팅문구 생성 |
| 4 | 피해 영향도 | 오류 발생시 개인 또는 조직에 금전적, 법적, 서비스 장애 등 중대한 피해가 발생하며 그 영향이 다수에게 반복적으로 확산된 가능성이 있는가? | [Yes]대규모 고객 서비스AI[No]내부 테스트 모델 |
| 5 | 개인정보, 민감정보 처리 | AI가 개인정보 또는 민감정보를 입력, 학습, 처리, 출력에 활용되는가? | [Yes]고객 데이터분석, 의료 데이터 AI[No]공개 데이터 실험 모델 |
| 6 | 보안 및 악용가능성 | 외부 공격자 또는 내부 사용자에 의해 모델이 악용되거나 데이터 유출, 오작동 유도가 가능한 구조인가? | [Yes]LLM(GenAI) API, 챗봇 AI서비스[No]폐쇄형 분석 모델 |
| 7 | 통제 가능성 | 내부 사용자에 의한 검토, 중단, 수정이 어렵고, 결과에 대한 추적 및 설명이 어려운 구조인가? | [Yes]완전자동화, 블랙박스 모델[No]Human-in-loop 시스템 |
3. 선정기준(안)을 어떻게 활용하는 것이 좋은가?
이 선정기준(안)은 사업자가 현황을 파악하는 단계에서 활용될수 있으며, 지속적인 운영시에도 신규 개발되는 AI제품 또는 서비스를 기획하는 단계에서 위험관리 대상 여부를 선정할때 활용될 수 있다.
또한, 이 선정기준은 위험관리 대상의 AI 제품 또는 서비스로 구별할 것이냐 말것이냐만을 위한 기준이므로 중요한 첫 단추가 되며, 위험관리 대상으로 선정된 AI에 대해서는 분석/설계 과정에서 구체적인 위험평가와 보호대책 적용, 검증 및 모니터링 등의 과정을 거치게 된다.