WAF 오탐지와 과탐지 문제 해결 방법 완벽 가이드

웹 방화벽(WAF)은 웹 애플리케이션을 보호하는 강력한 보안 솔루션입니다. 하지만 보안 정책이 너무 엄격하거나 설정이 부적절한 경우, 실제 공격이 아님에도 차단되는 오탐(False Positive) 또는 공격을 놓치는 과탐(False Negative) 문제가 발생할 수 있습니다.

이번 포스팅에서는 WAF 운영 중 자주 접하게 되는 오탐지/과탐지의 개념과 원인, 실무에서 적용할 수 있는 구체적인 해결 방법을 정리해드립니다.

📌 오탐지와 과탐지란?

구분	설명	예시
오탐지 (False Positive)	정상적인 트래픽을 공격으로 잘못 인식하고 차단	게시판 글 작성 중 특정 키워드로 인해 차단
과탐지 (False Negative)	실제 공격을 정상으로 오인하고 차단하지 못함	변형된 SQL Injection 패턴이 탐지되지 않음

🔍 오탐지의 주요 원인

• 서명(Signature)이 너무 광범위하거나 엄격함
• 입력 값 검증 정책이 지나치게 제한적
• 업무용 파라미터와 공격 코드가 유사한 구조
• 고객사 특화 서비스의 문맥을 반영하지 못함
• 한글, 특수문자, URL 인코딩 처리 오류

🚫 오탐지 해결 방법

1. 화이트리스트 적용

특정 URL, 파라미터, 사용자 그룹에 대해 WAF 탐지 대상에서 제외하는 방식입니다. 예: 내부 관리자 페이지, 테스트 계정 등

2. 서명 예외 등록

문제가 되는 서명(rule)을 특정 URI 또는 조건에 한해 비활성화합니다. 이로 인해 전체 정책을 완화하지 않고도 오탐을 방지할 수 있습니다.

3. 사용자 정의 룰 튜닝

기본 서명 외에, 조직 특성에 맞는 맞춤 탐지 룰을 추가하거나 수정합니다. 예: “%2f”가 포함된 요청은 허용 등

4. 학습 기반 정책 보정

AI 기반 WAF 또는 머신러닝 모델을 사용하는 경우, 정상 트래픽을 학습시켜 오탐지율을 감소시킬 수 있습니다.

5. 로그 분석 및 주기적 리포트

오탐지 발생 시 요청 정보를 확인하고 반복되는 패턴을 분석하여 정책 보완 자료로 활용합니다.

🔍 과탐지의 주요 원인

• 기본 서명이 최신 공격 패턴을 반영하지 못함
• 룰이 너무 완화되어 공격을 허용함
• 다중 인코딩, 우회 기법 활용된 공격
• SSL 복호화 미처리로 인해 페이로드 분석 불가

🚫 과탐지 해결 방법

1. 서명 업데이트

최신 보안 위협에 대응하기 위해 WAF 엔진 및 서명을 정기적으로 업데이트해야 합니다.

2. 커스텀 룰 추가

신규 공격에 대한 탐지 패턴을 수동으로 정의하여 추가합니다. 예: URL 인코딩된 공격, 비정상 User-Agent 탐지 등

3. SSL 가시성 확보

HTTPS 트래픽을 복호화하지 않으면 WAF가 페이로드를 분석할 수 없습니다. SSL 복호화 기능을 활성화해야 합니다.

4. 다중 탐지 체계 연동

WAF와 SIEM, IPS 등의 보안 장비를 연동하여, 탐지 누락을 상호 보완할 수 있습니다.

🧠 실무에서의 최적화 전략

• 모니터링 모드 → 차단 모드 단계적 전환
• 로그 분석 기반 정책 리팩토링 주기화
• 업무 담당자와 협력하여 예외 대상 정의
• 침해사고 대응팀과 협조하여 과탐 방지

📊 오탐/과탐 균형 맞추기

WAF는 “과도하게 막으면 업무 장애, 느슨하면 보안 위협”이라는 딜레마에 놓여 있습니다. 따라서 아래와 같은 원칙을 기반으로 설정을 조율해야 합니다.

• 보안 > 편의 원칙: 과탐보다 오탐이 우선적으로 방지되어야 함
• 상황별 허용: 오탐이 반복되는 경로는 정책 예외 적용
• 서비스 인식: 서비스의 특성을 이해한 맞춤 정책 필요

✅ 결론

WAF는 웹 애플리케이션을 지키는 최전선이지만, 정확한 설정과 지속적인 운영 관리 없이는 오히려 업무를 방해할 수 있습니다. 오탐지는 고객의 불편을 초래하고, 과탐지는 보안 위협을 초래하기 때문에, 사후 대응보다 선제적 튜닝과 로그 기반 분석이 필수입니다.

WAF의 효과를 극대화하려면, 초기 정책 세팅 → 운영 로그 분석 → 반복 튜닝의 프로세스를 체계화해야 하며, 보안 담당자와 서비스 운영자가 함께 협업해야 합니다.