Datadog Indexed Log 보관 주기 설정하기 (Retention Filters)

Datadog에서 Log Indexed를 하는 이유는 크게 다음과 같습니다.

1. Log Analyize
2. Log Store

 

수집되는 Log를 추후 Monitor를 통해 알람을 설정하거나,Dashboard 구성 및 Notebook을 하려면 Index 과정이 필요합니다.

 

하지만 모든 수집되는 Ingest Log에 Indexed 과정을 진행하게 되면 불필요한 비용이 많이 생기게 됩니다.

Ingest와 Index의 비용은 다음과 같습니다.

 

출처 : Datadog Pirce

 

Indexing 비용은 저장 주기에 따라 달라집니다. (3, 7, 15, 30, 30일 이상)

 

million log event 당 1.7$가 부여되는 것을 볼 수 있습니다.

엥? 생각보다 싸잖아..?

 

간과한 사실이 하나 있습니다!

예시로 하루에 70Milion log가 발생된다고 가정해봅시다.

 

• 1일차 : 10M (17$)
• 2일차 : 20M (34$)
• 3일차 : 30M .... (51$)

수로 증가하게 됩니다!

 

등차수열 식으로 증가하고, 그 로그 양에 따라 보관 비용은 기하 급수적으로 증가하게 되죠!

 

무분별하게 Indexed하게 되면 불필요한 비용이 증가하니, 선택적으로 Indexed하여 log 비용을 줄일 수 있습니다!

몇가지 과정이 있는데 여기서는 보관 주기를 줄여보도록 하겠습니다.

 

보관 주기가 줄으면, Archive의 양도 적어지니 보관 비용도 감소하게 됩니다! 

중요하지 않은 로그는 오랫동안 가지고 있을 필요가 없죠! (S3로 Log 보관하는 방법도 있습니다.)

---

보관 주기 설정 방법

1) Datadog DashBoard Login
2) 왼쪽 카테고리중 Logs 선택
3) Log Explorer 클릭 후 오른쪽 끝 Log Settings 클릭
4) 왼쪽 카테고리중 "ROUTING"의 "Indexes" 클릭
5) Main Indexes의 RETENTION을 원하는 주기로 변경

주의할점은 Trial 계정의 경우 15일이 Default로 고정되어 있습니다.