성덕이의 개발공간

Datadog Live Process를 활성화 하기 위해서는 2가지 설정이 필요합니다.1) 별도의 Live Process 활성화 작업2) Datadog yaml 수정1) datadog Live Process 활성화vi 편집기를 사용하여 해당 내용 추가 init_config:instances: - name: inetd search_string: - inetd - name: ntpd search_string: - ntpd 2) Datadog Agent Yaml 수정features.liveProcessCollection.enabled: true로 변경apiVersion: "datadoghq.com/v2alpha1"kind: DatadogAgentmetadata: name: d..

EC2 (Host)의 CPU util값이 어느 값 이상이 되면 알람을 받을 수 있게 구성해보자.Item Keysystem.cpu.util ===Datadog mapping===> system.cpu.idelCPU idel 사용량이 70~100에 따라 알람 설정1) Datadog Monitors -> New Monitor -> Metirc Type"""2. Define the metricMetric : "system.cpu.idle" avg by "host"Evaluate the : "average", "last 5 minutes"3. Set alert conditionsalert value : "above or equal to"Alert threshold >="90"Warning threshold >= ..

Datadog에서 수집되는 Metric을 통해서 Monitoring & Alram을 설정할 수 있다.Datadog Agent를 가지고 있는 EC2 (Host 서버)가 죽게되면 바로 Alram을 만들어보자.하나 이상의 호스트가 Datadog에 보고하는지 확인하는 Monitors Type1) Datadog Monitors -> New Monitor -> Host Tpye"""2. Define the metricMetric : "datadog.agent.running" from 계정정보Evaluate the : "average", "last 5 minutes"3. Set alert conditionsalert value : "ezual to"Alert threshold =="0"missing ofr : "Sh..

Generate Metrics을 왜 사용할까요?예시로, 비용 문제 때문에, A라는 Agent Log는 저장하고 싶지 않습니다. 따라서 Indexed 과정에서 Log를 Exclusion Filter를 진행합니다.하지만 사용자는 A라는 Agent에서 특정한 log는 Monitor 알람 설정을 위해 Index하고 싶습니다. 이때 바로 Generate Metrics을 사용합니다.위와 같은 상황이 가능한 이유는 아래와 같습니다. Generate Metric의 단계는 다음 사이에 있습니다.Ingest Log ===> Live Tail ===> Generate Metrics ===> Index log 따라서, Exclustion Filter를 하더라도, Indexed 될 수 있습니다.1. Generate Metric..

Exclusion Filter란, Ingested log에서 불필요한 Log를 제외하고 Indexed Log 과정을 진행합니다.불필요한 로그를 필터링하여 Log를 Indexed한다면 비용 효율적으로 사용할 수 있습니다. 참고로 Datadog Log Pipeline 순서는 다음과 같기에,Ingest Log ===> Live Tail ===> Generate Metrics ===> Index log (exclusion)Exclsuion Filter를 적용하더라도 Live Tail에는 그대로 보입니다! 1. Indexes 관리 페이지 접속하기1) Datadog DashBoard Login2) 왼쪽 카테고리중 Logs 선택3) Log Explorer 클릭 후 오른쪽 끝 Log Settings 클릭4) 왼쪽 카테..

Datadog에서 Log Indexed를 하는 이유는 크게 다음과 같습니다.Log AnalyizeLog Store 수집되는 Log를 추후 Monitor를 통해 알람을 설정하거나,Dashboard 구성 및 Notebook을 하려면 Index 과정이 필요합니다. 하지만 모든 수집되는 Ingest Log에 Indexed 과정을 진행하게 되면 불필요한 비용이 많이 생기게 됩니다.Ingest와 Index의 비용은 다음과 같습니다.  Indexing 비용은 저장 주기에 따라 달라집니다. (3, 7, 15, 30, 30일 이상) million log event 당 1.7$가 부여되는 것을 볼 수 있습니다.엥? 생각보다 싸잖아..? 간과한 사실이 하나 있습니다!예시로 하루에 70Milion log가 발생된다고 가정해봅..

Datadog Agent yaml을 제대로 구성을 했음에도 불구하고 Datadog APM이 안될 때 아래 5가지 방법에 대해 확인이 가능하다.1) APM Trace 활성화 확인본인의 datadog agent yaml 파일이 있는 경로에 가서 확인한다.$ cat /etc/datadog-agent/datadog.yaml 그 이후 아래처럼 apm_config 부분에 APM Trace 부분이 활성화되어 있는지 확인한다.## Provides autodetected defaults, for kubernetes environments,## please see datadog.yaml.example for all supported optionsapm_config:apm_non_local_traffic: true# Use..

다음 순서대로 제거한다.1. helm repo 제거2. datadog-operator 제거3. datadog agent 제거4. datadog NameSpace 제거우선 현재 Datadog 상태를 확인한다.kubectl get pods Datadog agent의 경우 DaemonSet 형식으로 구성되어 있기 때문에, agent를 제거하더라도 다시 올라온다.아래 순서대로 제거해보자. 1. helm repo 제거helm repo list 확인helm repo list 해당 repo를 제거하자helm repo remove datadog  2. datadog operator 제거datadog operator 확인 kubectl get pods datadog operator 제거helm unistall datad..

Generate Metrics을 왜 사용할까요?예시로, 비용 문제 때문에, A라는 Agent Log는 저장하고 싶지 않습니다. 따라서 Indexed 과정에서 Log를 Exclusion Filter를 진행합니다.하지만 사용자는 A라는 Agent에서 특정한 log는 Monitor 알람 설정을 위해 Index하고 싶습니다. 이때 바로 Generate Metrics을 사용합니다.위와 같은 상황이 가능한 이유는 아래와 같습니다. Generate Metric의 단계는 다음 사이에 있습니다.Ingest Log ===> Live Tail ===> Generate Metrics ===> Index log 따라서, Exclustion Filter를 하더라도, Indexed 될 수 있습니다.1. Generate Metric..

Exclusion Filter란, Ingested log에서 불필요한 Log를 제외하고 Indexed Log 과정을 진행합니다.불필요한 로그를 필터링하여 Log를 Indexed한다면 비용 효율적으로 사용할 수 있습니다. 참고로 Datadog Log Pipeline 순서는 다음과 같기에,Ingest Log ===> Live Tail ===> Generate Metrics ===> Index log (exclusion)Exclsuion Filter를 적용하더라도 Live Tail에는 그대로 보입니다! 1. Indexes 관리 페이지 접속하기1) Datadog DashBoard Login2) 왼쪽 카테고리중 Logs 선택3) Log Explorer 클릭 후 오른쪽 끝 Log Settings 클릭4) 왼쪽 카테..