목차

침입방지시스템

침입방지시스템(IPS)는 침입탐지시스템(IDS)의 기능에 능동적인 대처능력을 부여한 보안제품을 말한다.

대부분의 기업들은 외부 공격에 대한 비즈니스 위험을 최소화기 위해 인터넷단 또는 내부 서버팜에 방화벽이나 네트워크 기반의 침입탐지시스템(IDS)를 도입하고 있다.

그러나, 외부 공격에 대해 효과적인 역할을 수행하기 위해 도입한 IDS가 여러 기술적/운영상의 문제점들로 인해 만족할 만한 기대효과를 누리지 못하고 있다.

이러한, IDS를 대신하여 현재에는 침입탐지 및 이를 효과적으로 차단하기 위해 침입방지시스템(IPS)이 도입되고 있는 추세이다.

IPS 정의

IPS 정의

IPS는 시장조사 전문업체인 가트너에서 밝힌 정의에 따르면 ‘방지 능력과 빠른 반응(High-Speed)를 위해 네트워크 상(Inline)에 위치한 제품이어야 하며, 세션 기반 탐지(Session Aware Inspection), 다양한 종류의 방지 방법 및 방식(시그니처, 프로토콜 어노멀리, 액션 등)을 통해 악의적인 세션을 차단, 세션 기반 탐지를 지원해야한다’ 로 정의할 수 있다.

IDS와의 차이점

IPS는 IDS에서 나타나고 있는 한계점들을 보완하고자 하는 취지에서 개발되기 시작했기 때문에 기본적으로 IDS에서 보유하고 있는 기반 기술과 한계점들은 많은 부분 공유하고 있다.

그러나, IPS와 IDS의 가장 큰 차이점은 최종적으로 구현하고자 하는 목적에 있다.

이러한 주 목적의 차이는 IPS가 IDS를 기반으로 출발했지만, 핵심 기술인 실시간 패킷 처리 속도, 오탐지를 최소화하는 기술 및 변경 공격과 오용공격의 탐지 기술, 그리고 각 상황에 맞는 실시간 반응 기술을 기반으로 한는다는 점에서 많은 차이가 발생한다.

일반적으로 IDS 와 IPS의 특징별 비교는 다음과 같다.

항목 IDS IPS
공격탐지 방식 • 스니핑방식 • In-Line(데이터경로)상(스니핑방식 가능)
탐지방법 • 공격시그니처 비교, 프로토콜 불일치 등 • 공격시그니처 비교, 프로토콜 불일치 등 기본적으로 IDS와 동일
네트워크 영향도 • Packet복사방식으로 네트워크(Bandwidth, Delay)에 거의 영향 없음 • 데이터경로상에서 동작함으로 IPS의 낮은 성능이 네트워크에 영향을 줄 수 있음
1-Packet 공격 • 첫째 Packet공격 방지 못함 • 방지함
알려지지 않은
Zero-Day공격
• 방지 못함 • 많은 부분 방지 못함
공격대응 행동 방식 • Re-active방식(경보, TCP Reset, 스위치, 라우터, 방화벽 등과 연계하여 차단) 탐지 후에 대응 행동 • Active방식(경보, TCP Reset, 데이터통로상에서 차단)탐지 즉시 대응 행동
네트워크상에서의 한계 • 자유롭게 전개가 가능함(네트워크 코어, 네트워크 Edge 등) • 데이터 오버플로우시 데이터 손실 우려로 신중한 전개가 필요
주로 네트워크 Edge에 위치(성능에 의존)
과제 • 오탐에 의한 경보의 홍수튜닝, 대응 행동 정의 등 관리상 부하 해결 필요 • 오탐에 의한 경보의 홍수, 시그니처에 따른 성능저하가 상대적으로 심하기 때문에 튜닝 대응 행동정의 등 관리상 부하 해결 필요

IPS 분류

데이터 소스 기반

IPS는 IDS와 마찬가지로 데이터를 수집하는 위치에 따라서 크게 호스트의 불법 액세스를 탐지하는데 초점을 맞추는 Host based IPS(HIPS)와 네트워크 공격을 탐지하는데 초점을 두는 Network based IPS(NIPS)로 구분할 수 있다.

HIPS는 웹서버나 DB서버 등과 같은 중요한 서버의 보안에 매우 유용하며, NIPS 는 네트워크 인프라를 보호하는데 중요한 역할을 수행하고 있으며 두 시스템은 상호 보완적이므로 통합되어 사용되는 것이 가장 이상적이다.

구분 HIDS HIPS
개요 • 호스트 기반 침입방지시스템(HIPS)은 HIPS 에이전트가 필요하며 보호되는 호스트의 운영체제 위에서 수행되기 때문에 “최종 계층(last layer)” 보안 모델이라고 말할 수 있으며 HIPS는 호스트상의 공격을 탐지하고 그것이 실행되기 전에 공격 프로세스를 차단 • NIDS는 네트워크 트래픽을 엄격히 감시하기 위하여 설계된 하나의 솔루션이며, 트래픽을 통과시킬지 말지에 대한 결정 능력 부재
• 그러나, IPS는 공격 탐지에 기초하여 트래픽을 통과시킬지 말지에 대하여 결정을 내릴 수 있는 인라인 장치로 원하지 않는 트래픽을 차단할 수 있는 능력이 주요한 차이점
공격탐지 방법 • HIPS의 공격 탐지 방법도 전통적인 HIDS 모델로부터 변화
• HIPS는 조치를 취하기 전에 더 이상 서비스가 이벤트 로그를 생성하거나 시스템 파일이 변경되는 것을 요구 불허
• 실제적으로 이러한 탐지 방법은 제조사에 따라 다르지만, 공격을 탐지하기 위한 통상적인 방법은 규칙-기반 접근이며 HIPS 도구는 제품과 함께 전달되는 “허용/비허용 행위” 규칙의 미리 정해진 목록 소유
- 규칙-기반 : 취약성과 익스플로잇은 높은 속도로 항상 변하지만, 그러한 익스플로잇이 수행하는 행동은 상당히 일정하다는 사실에서 착안
- 관측접근 기반 : 에이전트는 호스트상에서 수행되며 모든 시스템 콜, 레지스터리 목록 및 서비스 통신을 관측
- 하이브리드접근 기반 : 최근의 HIPS들은 공격을 탐지하기 위하여 규칙, 애플리케이션 행위 및 시그니처의 결합을 사용한다. 이런 형태 시스템의 주요한 장점은 전에 보았거나 혹은 시그니처가 존재하는 이름에 의하여 공격을 절대적으로 식별할 수 있는 능력
• 이런 규칙들은 어떻게 운영 체제나 애플리케이션이 행동해야 하는지를 알고 있다. 만약 애플리케이션이 “오동작”을 시작하면 규칙이 트리거되고 공격 프로세스는 해를 끼치기 전에 커널 레벨에서 차단
• 현재의 NIPS는 NIDS와 마찬가지로 공격 트래픽을 탐지하기 위하여 하이브리드 접근 방법을 사용하지만, 주요한 차이는 익스플로잇이 아닌 취약성에 기초한 시그니처를 사용
- 기존의 공격 차단 방식 : 원하지 않는 공격 트래픽을 막기 위하여, 초창기에는 방화벽과 NIDS 시스템을 결합하여 사용하였지만, 탐지된 공격에 기초하여, NIDS 시스템은 경계 게이트웨이에서 공격자를 차단하기 위하여 on the fly로 새로운 방화벽 접근 통제 규칙을 추가
그러나, 이러한 방식의 NIDS는 높은 오탐율을 가지며 매우 부정확하며 방화벽에 접근통제 규칙을 추가하기 때문에, NAT(Network Address Translation)를 사용하여 하나의 public IP를 사용하는 경우 모든 사용자들이 차단되는 문제가 발생
- 최근 추세의 공격 차단 방식 : 초창기 시스템에서 사용된 접근 통제 방지 대신에 패킷 레벨 탐지 및 방지를 사용함으로써 공격 세션으로부터 원하지 않는 패킷들만 탈락시킬 수 있으며 이것이 NIPS가 NIDS와 다른 가장 큰 장점
물리적 위치 • 보호하고자 하는 시스템에 설치 • 네트워크 경로상에 위치
• 현재의 대부분 NIPS 시스템은 수 기가비트까지의 와이어 속도에서 혹은 근처에서 탐지를 할 수 있으며 인라인에 위치할 수 있고 브릿지라고 부르는 OSI 2계층에서 차단(이것은 네트워크 재설계가 필요하지 않음을 의미)
• 현재의 NIPS는 또한 네트워크 트래픽에 대하여 실패 시 닫힘(fail closed) 능력을 가지고 있으며, 이것은 만약 NIPS가 장애를 발생할 경우 트래픽은 계속해서 통과하겠지만, 보안은 상실되는 것을 의미

IPS 제품 유형별 분류

현재 시장에 출시되어 경쟁하고 있는 IPS는 각 제품의 설계 철학과 그 기반 기술에 따라 장비업체별 유형도 다르지만 일반적으로 다음과 같이 분류할 수 있다.

IPS 주요 기능

IPS의 주요 기능은 다음과 같다.

기능 기능 요약
• 웜/바이러스 및 스팸메일, P2P 및 메신저 통신 등에 대한 비정상 네트워크 트래픽의 정확하고 신속한 탐지 및 차단 기능 트래픽 차단
• 실시간 네트워크/시스템 부하량 모니터링 및 프로토콜/서비스/IP별 네트워크 트래픽 트랜드 상세분석 트래픽 분석
• 유해정보 차단 및 내부정보 유출 차단과 해킹추적기능 트래픽 추적
• 신규 취약성, 위협에 대한 빠른 Update 기능 라이브 업데이트
• 자체적, 혹은 연계된 보안 연구조직을 통해 고품질의 보안 컨텐츠(위협 및 취약성 정보)를 지속적으로 공급 받아 미래의 위협에 적절하게 사전대응(preemptive Protection)할 수 있도록 침입패턴 DB를 보유 침입패턴 DB
• IPS에 최적화된 어플라이언스를 통해 자체 OS Hardening기능 제공 어플라이언스
• 유해사이트에 대한 실시간 모니터링 및 로깅 기능 유해사이트 모니터링

IPS차단 메커니즘

세션기반의 침입 차단

IPS는 IDS와 달리 방화벽과 같은 물리적 위치인 인라인모드에서 동작하기 때문에 IDS보다 좀더 능동적으로 침입에 대한 대응을 구현할 수 있게 되며, IDS가 TCP Reset(Kill Connection) 또는 방화벽과의 연동(특정 IP/Port 차단)을 이용하는데 반해 IPS는 현재 출발지/목적지시스템간에 연결되어 있는 세션(Session)을 Blocking하게 된다.

즉, IPS는 IDS에서의 접근통제방식 대신에 패킷 레벨 탐지 및 방지를 사용함으로써 공격 세션으로부터 원하지 않는 패킷들만을 차단할 수 있다.

기존 IDS에서의 침입차단의 한계점

IDS에서는 공격으로 판별된 패킷이 탐지되었을 대 연결의 양 끝단에 TCP Reset 을 전송하는 것과 새로운 접근통제 정책을 추가하여 패킷의 나머지를 네트워크 외부에서 차단하기 위해 방화벽 또는 라우터등과 연동하는 것이다.

그러나, 일반적으로 이러한 침입차단방식은 다음과 같은 한계점이 존재한다.

IPS의 세션기반 차단 방식

IPS의 세션기반 차단 방식은 데이터의 인라인 경로에 위치하여 현재 연결중인 세션을 이용하기 때문에 의심스러운 해킹 패킷이 발견되면 패킷이 IPS의 내부 인터페이스를 통과해 보호해야 할 네트워크에 도달하기에 앞서 즉시 폐기할 수 있다. 뿐만 아니라 해당 패킷은 의심스러운 패킷으로 규정되기 때문에 해당 세션의 모든 패킷은 추가적인 처리 과정을 거치지 않고 폐기된다. 또한, 추가적으로 공격을 수행하고 있는 호스트에 TCP Reset 또는 ICMP접근 불능 메시지를 전송할 수 있다.

또한, 추가적으로 세션을 이용하여 해당 세션만을 관리하기 때문에 특정 IP에서 전송되는 다른 세션은 정상적으로 연결을 허용하게 된다.

IPS 구성 요소 및 구성도

시스템 구성 요소

IPS를 구축하기 위해서는 일반적으로 아래와 같은 2개의 기본요소로 구성된다.

구성요소 내용
침입탐지에이전트
(침입탐지 센서)
• 네트워크에서 전송되는 패킷을 수집하고 공격 여부를 판단하는 핵심 모듈이며 탐지된 결과를 데이터 매니저에 전송
관리자콘솔 • 침입탐지 센서의 정책설정 및 로그 검색• 통계•리포트 등을 수행하는 관리자 시스템으로 분산 환경하에 2개 이상의 관리 콘솔을 두어, 다중 관리자 체계로 운영 가능

시스템 구성도

IPS는 보호하고자 하는 서버 대상군에 따라 설치 위치가 라우터 하단/DMS/방화벽하단 등으로 변경될 수 있으며 기본적으로는 모든 트래픽이 IPS를 통과하도록 구성하는 인라인 모드 형태로 구성하고 있다.

IPS 네트워크 구성도(이미지)

IPS는 기본적으로 인라인모드로 구성하여 네트워크 트래픽에 대한 모든 점검을 수행하며 네트워크 운영환경 또는 운영방안에 따라 다음과 같이 구성이 가능하다.

구성 방안 주요 특징 비고
Passive Monitoring • IDS와 같이 동작(인라인 모드가 아님(스니핑 모드)
• 스위치의 미러링이나 Tap장비를 통해 트래픽을 관찰
(이미지)
Inline Simulation • 인라인IPS 구성(IPS초기 설치 시 유용)
• 공격탐지시 차단하지 않음
• 트래픽 모니터링 모드
Inline Protection • 인라인 IPS 구성
• 공격 탐지 시 차단
• 공격 방어 모드