user

Name Full Name Architecture Base Model Developed Training Dataset Lib. & Framework Use Cases HF URL Githhub URL Audio Spectrogram Transformer Audio Spectrogram Transformer Transformer ViT 2021 AudioSet PyTorch, Hugging Face Transformers Audio classification, sound event detection https://huggingface.co/docs/transformers/model_doc/audio-spectrogram-transformer https://github.com/YuanGongND/ast Bark Bark GPT-like, Transformer GPT-2 2023 Proprietary dataset PyTorch, Hugging Face Transformers Text-to-speech, voice synthesis https://huggingface.co/docs/transformers/model_doc/bark […]

Name Full Name Architecture Base Model Developed Training Dataset Lib. & Framework Use Cases HF URL Githhub URL BEiT Bidirectional Encoder representation from Image Transformers Vision Transformer ViT 2021 ImageNet-21k, ImageNet-1k PyTorch, Hugging Face Transformers Image classification, semantic segmentation https://huggingface.co/microsoft/beit-base-patch16-224 https://github.com/microsoft/unilm/tree/master/beit BiT Big Transfer ResNet ResNet 2019 JFT-300M, ImageNet-21k TensorFlow, Hugging Face Transformers Image classification, transfer learning

Name Full Name Architecture Base Model Developed Training Dataset Lib. & Framework Use Cases HF URL Githhub URL ALBERT A Lite BERT Transformer-based sequence-to-sequence BERT 2019 BookCorpus, English Wikipedia TensorFlow, PyTorch Natural Language Understanding https://huggingface.co/albert-base-v2 https://github.com/google-research/albert Bamba Bamba Transformer GPT-2 2023 Bambara language corpus PyTorch Bambara language generation https://huggingface.co/masakhane/bamba https://github.com/masakhane-io/bamba BART Bidirectional and Auto-Regressive Transformers

GenAI(LLM) Red Team Service를 준비하면서, OWASP Top10 for LLM 기반의 세부 점검 케이스들을 정리하였습니다.

GenAI(LLM) 취약점 중의 하나인 Prompt Injection Attack은 OWASP Top10 for LLM Application의 첫 번째로 등장할 만큼 다양한 공격기법이 존재하는 반면에, LLM의 다양한 서비스와 정확한 작업지시를 위해 여러 가지 유형의 Prompt를 개발하여 사용할수 밖에 없는 구조를 가지고 있다. 일반적으로 System Prompt와 User Prompt정도만 있는 것으로 알겠지만, 그 외에도 몇가지 종류가 있으며, 종류를 세부화 하면 더 많으며

최근 국내 금융회사들이 GenAI(생성형AI, LLM)구축이 많이 이뤄지고 있다. 그러나 LLM의 보안 취약점에 대해서는 개인정보 유노출 정도만 언급되고 있을 뿐, OWASP Top 10 for LLM Application에서 정의하고 있는 다양한 정보보안 고려사항에 대해서는 고려되고 있지 않고 있다. 1. 취약점 테스트 이 취약점은 OWASP Top10 중에서 LLM 02. Insecure Output Handling과 LLM 06. Sensitive Information Disclosure에 해당하는 취약점으로써

RAG 개요 RAG는 GenAI(LLM)을 구축할때, PEFT와 함께 필수 요소로 사용되고 있다. RAG는 표준 LLM 시스템의 한계를 극복하기 위해 개발된 기술로써, 사용자의 질문에 대한 답변을 제공할 때, 문서들을 검색하여 LLM이 그 문서를 기반으로 정확한 답변을 생성하도록 돕는 기능을 제공한다. ChatGPT의 사용자라면 자료검색을 요청할때 화면에서 모레시계가 나타나면서 웹 검색하는 순간을 봤을 것이다. 이 기능을 제공하는 것이 RAG이다.또한,

OWASP Top 10 for LLM Application LLM01. Prompt Injection (프롬프트 주입): 악의적인 사용자가 LLM(GenAI)을 조작하여 시스템 프롬프트를 재정의하거나 외부 입력을 통해 LLM(GenAI)이 의도치 않은 작업을 수행하도록 유도하여 데이터 유출, 사회공학공격 등이 발생할 수 있는 위험이다. LLM02. Insecure Output Handling (안전하지 않은 출력처리): LLM(GenAI)이 생성한 출력이 적절히 검증되지 않아 XSS, CSRF, SSRF 등의 취약점이 발생할 수

구체적인 문의 내용 저는 회사에서 정보보안팀에서 보안성심의를 담당하고 있는데, 생성형 AI시스템을 구축한다고 합니다.생성형 AI(GenAI) 시스템 구축은 일반적인 정보시스템 구축과 다른 점이 있어서 어떻게 접근해야 하는지 궁금합니다. 또한 생성성 AI는 어떤 위험성이 있는지 알려주십시오 주요 가이드라인 및 표준 국내 관련 가이드라인은 현재 시점에서, 국정원과 금보원의 가이드라인이 존재한다. 국정원의 “챗GPT 등 생성형 AI 활용 보안 가이드라인(2023.6)“의 주요내용