성덕이의 개발공간

Generate Metrics을 왜 사용할까요?예시로, 비용 문제 때문에, A라는 Agent Log는 저장하고 싶지 않습니다. 따라서 Indexed 과정에서 Log를 Exclusion Filter를 진행합니다.하지만 사용자는 A라는 Agent에서 특정한 log는 Monitor 알람 설정을 위해 Index하고 싶습니다. 이때 바로 Generate Metrics을 사용합니다.위와 같은 상황이 가능한 이유는 아래와 같습니다. Generate Metric의 단계는 다음 사이에 있습니다.Ingest Log ===> Live Tail ===> Generate Metrics ===> Index log 따라서, Exclustion Filter를 하더라도, Indexed 될 수 있습니다.1. Generate Metric..

Exclusion Filter란, Ingested log에서 불필요한 Log를 제외하고 Indexed Log 과정을 진행합니다.불필요한 로그를 필터링하여 Log를 Indexed한다면 비용 효율적으로 사용할 수 있습니다. 참고로 Datadog Log Pipeline 순서는 다음과 같기에,Ingest Log ===> Live Tail ===> Generate Metrics ===> Index log (exclusion)Exclsuion Filter를 적용하더라도 Live Tail에는 그대로 보입니다! 1. Indexes 관리 페이지 접속하기1) Datadog DashBoard Login2) 왼쪽 카테고리중 Logs 선택3) Log Explorer 클릭 후 오른쪽 끝 Log Settings 클릭4) 왼쪽 카테..

Datadog에서 Log Indexed를 하는 이유는 크게 다음과 같습니다.Log AnalyizeLog Store 수집되는 Log를 추후 Monitor를 통해 알람을 설정하거나,Dashboard 구성 및 Notebook을 하려면 Index 과정이 필요합니다. 하지만 모든 수집되는 Ingest Log에 Indexed 과정을 진행하게 되면 불필요한 비용이 많이 생기게 됩니다.Ingest와 Index의 비용은 다음과 같습니다.  Indexing 비용은 저장 주기에 따라 달라집니다. (3, 7, 15, 30, 30일 이상) million log event 당 1.7$가 부여되는 것을 볼 수 있습니다.엥? 생각보다 싸잖아..? 간과한 사실이 하나 있습니다!예시로 하루에 70Milion log가 발생된다고 가정해봅..

Generate Metrics을 왜 사용할까요?예시로, 비용 문제 때문에, A라는 Agent Log는 저장하고 싶지 않습니다. 따라서 Indexed 과정에서 Log를 Exclusion Filter를 진행합니다.하지만 사용자는 A라는 Agent에서 특정한 log는 Monitor 알람 설정을 위해 Index하고 싶습니다. 이때 바로 Generate Metrics을 사용합니다.위와 같은 상황이 가능한 이유는 아래와 같습니다. Generate Metric의 단계는 다음 사이에 있습니다.Ingest Log ===> Live Tail ===> Generate Metrics ===> Index log 따라서, Exclustion Filter를 하더라도, Indexed 될 수 있습니다.1. Generate Metric..

Exclusion Filter란, Ingested log에서 불필요한 Log를 제외하고 Indexed Log 과정을 진행합니다.불필요한 로그를 필터링하여 Log를 Indexed한다면 비용 효율적으로 사용할 수 있습니다. 참고로 Datadog Log Pipeline 순서는 다음과 같기에,Ingest Log ===> Live Tail ===> Generate Metrics ===> Index log (exclusion)Exclsuion Filter를 적용하더라도 Live Tail에는 그대로 보입니다! 1. Indexes 관리 페이지 접속하기1) Datadog DashBoard Login2) 왼쪽 카테고리중 Logs 선택3) Log Explorer 클릭 후 오른쪽 끝 Log Settings 클릭4) 왼쪽 카테..

Datadog에서 Log Indexed를 하는 이유는 크게 다음과 같습니다.Log AnalyizeLog Store 수집되는 Log를 추후 Monitor를 통해 알람을 설정하거나,Dashboard 구성 및 Notebook을 하려면 Index 과정이 필요합니다. 하지만 모든 수집되는 Ingest Log에 Indexed 과정을 진행하게 되면 불필요한 비용이 많이 생기게 됩니다.Ingest와 Index의 비용은 다음과 같습니다. Indexing 비용은 저장 주기에 따라 달라집니다. (3, 7, 15, 30, 30일 이상) million log event 당 1.7$가 부여되는 것을 볼 수 있습니다.엥? 생각보다 싸잖아..? 간과한 사실이 하나 있습니다!예시로 하루에 70Milion log가 발생된다고 가정해봅..