엔지니어 블로그

1. Elasticsearch에서 Full GC가 자주 발생하는 이유Elasticsearch는 Java 기반 애플리케이션이기 때문에 JVM의 Heap 메모리 관리가 성능에 큰 영향을 미칩니다. 특히 다음과 같은 이유로 Old 영역에 많은 객체가 쌓여 Full GC가 자주 발생할 수 있습니다.대량의 장기 유지 객체(캐시 데이터, Lucene 인덱스 구조 등) 누적잘못된 메모리 설정(과도한 Heap 크기 설정)비효율적인 인덱싱 작업이나 높은 빈도의 검색 요청으로 인한 객체 생성 증가2. 분산 환경에서의 STW(Stop-The-World) 대응 방식ES는 분산 환경에서 운용되므로, 한 노드에서 STW가 발생하더라도 전체 서비스 중단을 방지할 수 있습니다. 이를 가능하게 하는 주요 설계는 다음과 같습니다.샤딩(..

Docker 환경의 Elasticsearch를 기준으로 다음과 같이 user를 생성할 수 있다. /usr/share/elasticsearch/bin/elasticsearch-users useradd 유저명이후 패스워드를 2번 입력하면 User가 생성된다. 여기까지 진행하면 아무 권한이 없는 빈 User가 생성된다. 그래서 권한을 추가해줘야 한다. /usr/share/elasticsearch/bin/elasticsearch-users role 유저명 -a 권한명Built-in 권한을 이용하면 간편하게 권한을 사용할 수 있다. Built-in-roles

Python으로 Elasticsearch를 다루면서 Doc를 Updqte하는 방법 실험 내용입니다. 초기 doc 구조 "test1" : "good123", "test2" : "asdfd" test 내용 Test1 # test1 필드는 동일, test2 필드는 내용 변경, test 필드는 새롭게 추가 update_doc = [ { "update" : { "_id": "123123", "doc" : { "test1" : "good123", "test2" : "asdfds123", "test" : "werwear" } } } ] => update 아님. update는 일반 필드로 잡힘 ※부적합 Test2 test1과 조건은 동일하지만, json형태를 변경 update_doc = [ { "_id": "12312..

운영중인 Elasticsearch 혹은 Opensarch Cluster에 Plugin 설치 및 사전 업데이트 등과 같은 작업이 필요할 때, 전체 Cluster를 재시작 하는 것이 아닌 개별 Node를 재시작 해야한다. Shards 할당 기능 설정 PUT _cluster/settings { "persistent": { "cluster.routing.allocation.enable": "primaries" } }Node 재시작시 모든 샤드를 새롭게 할당하면서 발생하는 I/O 비용을 줄이는 효과가 있는 설정이다. None으로 설정시 pri/rep 모두 새롭게 할당하지 않는다. Synced Flush POST _flush/syncedNode 재시작 후 기존 샤드에 존재하던 데이터를 재색인 할 필요가 없는 것을 ..

Path hierachy tokenizer Elasticsearch에서 계층적인 구조의 데이터를 다루기 위해 사용한 path hierachy 토크나이저에 대한 내용입니다. 공식문서 소개 path hierachy 토크나이저는 파일시스템과 유사한 계층적인 값을 받아 경로 구분자를 기준으로 분리하며, 트리의 각 구성요소에 대한 용어를 생성한다.영어 원문을 직역해서 약간 어색한 감이 있지만, 계층 구조의 데이터를 구분자 기준으로 나누어 계층별로 텀을 생성해 주는 토크나이저 라고 생각하면 편하다. 실행 예시 #request curl -X POST "localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d' { "tokeni..

Opensearch/Elasticserach 오타 교정 본 내용은 다나와 기술블로그의 '엘라스틱서치 오타교정 API 만들어보기' 글을 참조하고 있습니다. 1. 진행 환경 Opensearch 2.7.0 Elasticsearch에서도 동일하게 진행 가능 2.환경 구성 1. ICU Plugin 설치 bin/opensearch-plugin install analysis-icu 2.Index 생성 mappings/settings PUT auto_complete { "settings": { "index": { "analysis": { "filter": { "my_filter": { "mode": "decompose", "name": "nfc", "type": "icu_normalizer" } }, "..

Function score query 특정 필드에 가중치를 주는 Function score query 옵션 테스트 => 필드의 값(숫자)에 직접 가중치를 줘서 스코어를 조정할 수 있다. test 환경 elasticsearch 8.3.2 version kibana 8.3.2 version Case 1 : document에 9개의 직급을 random하게 지정해주고 그에 따른 가중치를 price field에 지정해준다. Case 1 진행순서 index 생성 function score query 테스트 테스트 결과 확인 기존에 진행했던 news 프로젝트에 적용 결과 확인 1.index 생성 #9개의 직급과 그에 따른 가중치를 각각 rank,price field에 색인 es = Elasticsearch("loca..

Mustache Mustache는 다양한 언어를 합쳐서 사용할 수 있는 템플릿 엔진이다. Elasticsearch의 script에서 유용하게 사용된다. 1. {{#}} ,{{^}} 용법 mustache를 사용하여 script를 작성할때 빈번하게 사용되는 용법이다. 1. {{# keyword}}~{{/keyword}} #은 변수로 받은 값이 True일때 실행된다. 해당 파라미터에 값이 들어왔을떄만 검색을 실행하게 된다. Elasticsearch에서는 주로 일부 파라미터 값이 빈값일때, 다른 값들은 정상적으로 검색되도록 할 때 사용한다. GET my_index/_search/template { "id": "test_template", "params": { "from": "", "size": "", "quer..