성덕이의 개발공간

데이터 전처리 진행(동의어처리, 사용자 정의사전) 1. Tokenizer 사용자 단어 정의 v2를 복사해서 v3를 만들고 그대로 내용을 붙여 넣는다. 그리고 ‘analyzer’ 의 하위 필드인 custom_nori를 만들어주고 내용은 아래와같이 넣는다. char_filter = 위에 만들었던 변수명 tokenizer = 위에 선언했던 변수명 filter = 적용할 필터 변수명 여기서는 아직 위의 필터를 정의하지 않았으므로 임의적으로 동의어필터 라는 단어를 넣었다. 바로 위 ‘tokenizer’ 필더의 하위 필더에 ‘custom_nori_tokenizer’를 선언한다. 내용은 이와같이 적는다. user_dictionry_rules : 에는 단어를 분리하지않고 하나의 단어로 인식할 단어의 목록들을 적는다. ..

PUT라인에 커서를 올리고 ctrl + enter로 실행해본다. 에러없이 잘 진행됐으면 오른쪽에 이와같이 출력된다. 두 번이상 실행하면 에러가 뜬다. 이미 PUT을 했기에 중복이 안된다는 것이다. 이땐 아래처럼 DELETE를 이용해서 삭제하고 다시 정의해주면 해결된다. GET을 통해 출력이 잘 되는지 확인한다. 오른쪽에 잘 나온다. 4. TEST 잘되있는지 테스트해보자. GET이후 /_analyze를 이용한다. 이를 이용하면 token이 입력한 그대로 데이터그 자체로 토큰이 만들어진다. 이것과 꼭 일치한 것만 검색한다. 라는 의미이다. dtail뒤에 detail.raw를 쓰면 오른쪽과 같이 내부에서 자동적으로 토큰을 나눠준다. 여기서는 3개의 토큰으로 나뉘어 생성된다. 찾을 택스트는 : 와같이 적어준다...

데이터 전처리 진행(불용어 제거, 맞춤형 검색, 수정, 정재) 1. 데이터 검토 및 Mapping 홈에서 메뉴를 클릭하고 Management의 Dev Tools에 들어간다. 미리 만들어두었던 Index Pattern을 GET으로 불러온다. 그 이후 Ctrl + Enter로 실행한다. 그러면 오른쪽에 쿼리를 쭉 살펴볼 수 있다. 왼쪽 화살표를 이용해도 좋고, 최소화 하고자하는곳에 커서를 올리고 Alt + 0을 누르면 축소시킬 수 있다. Index Pattern에는 크게 ‘mapping’ 와 ‘settings’쿼리가 존재한다. ’mapping’하위 필드는 ‘_meta’, ‘properites’ 등이 존재한다. ’properties’를 클릭해보면 각각의 document들이 가지고 있는 필드를 볼 수 있다. t..

키바나의 장점인 다양한 Maps 왼쪽메뉴에서 [Management]클릭 후 [Kibana]영역의 [Index Pattern] 클릭 그 이후 오른쪽 상단 Create index pattern을 클릭한다. 이 창에서 [Name]에 이와같이 적으면 오른쪽 인덱스가 쭉나온다. *(와일드카드)를 통해 하나의 인덱스로 모두 묶을 것이다.가 없으면 하나의 인덱스에 대해 패턴을 만드는 것 이 인덱스들은 네이버 쇼핑을 크롤링한 것들이다. 오른쪽 4개를 n_shopping으로 인덱스 패턴을 만들겠다. 오른쪽 메뉴 클릭 후 대시보드에 들어가 확인한다. 왼쪽 상단을 보면 Indexpattern이 잘 만들어져 들어간것이 보인다. 오른쪽 상단 부분의 그래프 부분을 드래그해서 확대해서 원하는 부분만 볼 수 있고 다시 돌아가러면 상..

가장 많이 언급된 단어를 클라우드처럼 시각화하는 기능이다. [All types] ⇒ [aggregation based] ⇒ [tag Cloud] 선택 오른쪽에서 Buckets추가해주고 Terms누르고 필드는 소분류, 크기는 100개로설정 [Orientations] = 글자 방향을 선택해줄 수 있다. 정방향, 역방향, 뒤집기 등등... [Font Size]로 크기도 설정할 수 있다. 범위는 작은건 더 작게,, 큰건 크게..등등 적용이 가능하다.

Matric 기능을 이용해 꾸미기 패널의 에딧으로 들어가 왼쪽 상단의 [Matric]을 선택한다. 이를 누르고 저장하게되면 추후에 패널의 크기를 조정할때 내용이 씹히거나 먹히지 않고 자동적으로 조정된다. Agg-metric은 [aggregation based]누르고 metric을 만들면 이렇게 여래개의 표현이 가능하다. 다시 돌아와서 All types에서 [Aggregation based] ⇒ [TSBV]를 눌러 다시하나 만든다 오른쪽 [Options]에서 [Ranges] 범위를 설정해줄 수 있다. 이처럼 범위별로 색깔을 다르게 할 수도 있다. Goal 기능 이용 [all types] ⇒ [aggregation based] ⇒ [goal] 선택 이렇게 설정하면 왼쪽처럼 이상하게 뜬다. 해결해보자 월별로 ..

대쉬보드 구성 및 마크다운 왼쪽 메뉴에서 대쉬보드 클릭 후 create 대쉬보드를 클릭하면 이와같은 화면이나온다. 동그라미된 [Add from library]를 누르고 전에 만들었던 2개를 가져온다. 클릭으로 바로 가져올 수 있다. 불러왔다. 각각의 패널은 사이즈조절 및 이동이 가능하다. All types 하단의 [TSVB]의 기능을 클릭한다. 이와같은 창이 뜨게된다. 상단의 각각의 기능은 [Time Series] = 실시간 데이터를 나타내기에 최적화된 툴 [Markdown]을 눌러 왼쪽 하단의 [Panel options]을 클릭한다. 미리 만들어놓은 Index pattern을 선택 후에 Data로 이동한다 이와같이 선택을 해주고 Sum과 필드인 amount를 선택한다. 글자를 왼쪽 하단에 직접 써도 되..

aggregation based 등을 이용한 행,열 data table 시각화 [Visualize Libaray]에서 [Create Visualization]을 눌러 Aggregation based을 누른다. 여기에는 다양한 시각화 툴이 있다. 여기서는 Data table이용할 것이므로 인덱스 패턴을 선택해야 한다. [Split rows]를 설정해준다. 여기서 Sub aggregation은 Trems으로 설정해준다. Custom은 타입으로 설정한다. 이부분빼고 모두 terms으로 진행한다. Field는 _형식의 컬럼명이 있는데 _는 키바나에서 자체적으로 만든는 것이므로 선택안하게 조심하자. lens 경우 자동으로 업데이트가 됐는데 여기서는 Update 눌러줘야 한다. 그 외에 Split rows들은 Da..

Lens 대용량 데이터의 경우 많이 느리므로 상대적으로 작은 데이터를 볼때 괜찮다. 왼쪽에 [Available fields]에서 date, amount를 드래그해서 오른쪽으로 가져다 놓는다. 그 이후 date를 눌러서 원하는 스타일로 커스텀할 수 있다. [Customize time interval]을 체크하고 1 month로 설정한다. 보기좋게 display name은 날짜로 바꿔준다. 여기서 Count of records를 제거하면 하단에 각각의 건수를 지울 수 있다. [Bar vertical stacked]를 클릭해 원하는 형태를 선택해서 시각화 할 수 있다. [Bar horizontal]을 통해 가로로된 막대그래프를 시각화해서 월별로 볼 수 있다. 오른쪽에서 [Horizontal axis]클릭 후 ..

엘라스틱 키바나에 접속하여 아래 하단에 Upload a file을 눌러 csv 파일을 적재한다. excel파일이면 csv파일로 변형해서 넣는다. 단, csv 파일 변형시 UTF-8 (쉼표로 구분)을 선택해야 양식에 맞게 적용시킬수 있다. 여기서 Number of lines을 한 컬럼이라고 부르는데 노출되는 데이터양은 1000개 뿐이다. 추가로 설정해서 더 많은 데이터를 받을 필요가 있다. Type은 date형, Integer형 등등 자동으로 인식됐고 Documents도 잘 나와있다. 여기서 Document는 한 컬럼을 의미한다. 노출되는 데이터 양이 1000이므로 늘려주자 [Override settings] 선택한 후 Number of lines to sampled을 10000으로 바꿔준다. [Has h..