Datadog Exclusion Filter 적용하기 (Ingested Log 대상)

Exclusion Filter란, Ingested log에서 불필요한 Log를 제외하고 Indexed Log 과정을 진행합니다.
불필요한 로그를 필터링하여 Log를 Indexed한다면 비용 효율적으로 사용할 수 있습니다.
 
참고로 Datadog Log Pipeline 순서는 다음과 같기에,
Ingest Log ===> Live Tail ===> Generate Metrics ===> Index log (exclusion)
Exclsuion Filter를 적용하더라도 Live Tail에는 그대로 보입니다! 

---

1. Indexes 관리 페이지 접속하기

1) Datadog DashBoard Login
2) 왼쪽 카테고리중 Logs 선택
3) Log Explorer 클릭 후 오른쪽 끝 Log Settings 클릭
4) 왼쪽 카테고리중 "ROUTING"의 "Indexes" 클릭

Default값은 모든 Log가 Indexed 되고 있는 상태입니다.
 

2. Exclustion Filter 설정하기

1) Main Indexes 하단에 "Add an Exclusion Filter" 선택
  - Name : Exclusion Filter Name 설정
  - Define exclusion query 작성
  - Set exclusion percentage로 %로 제외할건지 설정

 

3. 예시

• Agent에서 발생되는 Log는 중요도가 낮기에 발생되는 로그의 3%만 수집
• 단, Info의 Log는 수집하지 않는다.

- Define exclusion query = source:agnet status:Info
- Set exclusion percentage = 97% all logs

완료 (참고로 와일드 카드도 사용 가능하다.)