최근 국내 금융회사들이 GenAI(생성형AI, LLM)구축이 많이 이뤄지고 있다. 그러나 LLM의 보안 취약점에 대해서는 개인정보 유노출 정도만 언급되고 있을 뿐, OWASP Top 10 for LLM Application에서 정의하고 있는 다양한 정보보안 고려사항에 대해서는 고려되고 있지 않고 있다. 1. 취약점 테스트 이 취약점은 OWASP Top10 중에서 LLM 02. Insecure Output Handling과 LLM 06. Sensitive Information Disclosure에 해당하는 취약점으로써 […]
RAG 개요 RAG는 GenAI(LLM)을 구축할때, PEFT와 함께 필수 요소로 사용되고 있다. RAG는 표준 LLM 시스템의 한계를 극복하기 위해 개발된 기술로써, 사용자의 질문에 대한 답변을 제공할 때, 문서들을 검색하여 LLM이 그 문서를 기반으로 정확한 답변을 생성하도록 돕는 기능을 제공한다. ChatGPT의 사용자라면 자료검색을 요청할때 화면에서 모레시계가 나타나면서 웹 검색하는 순간을 봤을 것이다. 이 기능을 제공하는 것이 RAG이다.또한,
OWASP Top 10 for LLM Application LLM01. Prompt Injection (프롬프트 주입): 악의적인 사용자가 LLM(GenAI)을 조작하여 시스템 프롬프트를 재정의하거나 외부 입력을 통해 LLM(GenAI)이 의도치 않은 작업을 수행하도록 유도하여 데이터 유출, 사회공학공격 등이 발생할 수 있는 위험이다. LLM02. Insecure Output Handling (안전하지 않은 출력처리): LLM(GenAI)이 생성한 출력이 적절히 검증되지 않아 XSS, CSRF, SSRF 등의 취약점이 발생할 수
구체적인 문의 내용 저는 회사에서 정보보안팀에서 보안성심의를 담당하고 있는데, 생성형 AI시스템을 구축한다고 합니다.생성형 AI(GenAI) 시스템 구축은 일반적인 정보시스템 구축과 다른 점이 있어서 어떻게 접근해야 하는지 궁금합니다. 또한 생성성 AI는 어떤 위험성이 있는지 알려주십시오 주요 가이드라인 및 표준 국내 관련 가이드라인은 현재 시점에서, 국정원과 금보원의 가이드라인이 존재한다. 국정원의 “챗GPT 등 생성형 AI 활용 보안 가이드라인(2023.6)“의 주요내용
구체적인 문의 내용 머신러링 모델을 구현하는데 깊이 있는 전문지식이 없더라도 비즈니스 도메인에 대한 이해가 높다면 쉽게 머신러닝 모델링을 구현할 수 있다는 AutoML을 소개 받았습니다.AutoML중에서도 안전성이 있고, 저의 개발환경인 Python과 연동성이 좋은 PyCaret을 이용해 개발하고 있는데요PyCaret 공식 홈페이지에 있는 간단한 구현 전체 내용을 담고 있는 예제를 테스트하고 있는데 계속 setup() 메소드에서 에러가 발생합니다.구글링으로 온 세상을 다
