엔지니어 블로그

Hive Metastore hive는 table,partition과 관련된 정보를 메타스토어 저장소에 저장한다. 데이터를 조회할 때 저장소의 데이터를 기반으로 빠르게 조회가 가능하다. 관계형 DB와 달리 insert 이후 스키마를 적용하게 되는데, 스키마 정보 또한 metastore에서 가져오게 된다. metastore는 메타데이터를 저장하는 저장소의 개념이 아닌, 요청에 알맞는 metadata를 찾을 수 있도록 서버와 저장소 사이에서 중개하는 역할을 한다. 1.유형 metastore는 총 3가지 유형이 있고, 각각 임베디드,로컬,원격 metastore라고 한다. 1.Embedded Metastore hive metastore의 기본 설정값이다. hive가 설치된 로컬 머신에 metastore가 데이터를..

환경 Ubuntu K3S 상황 persistent volume 삭제 안됨 오류 내용 pv 삭제시 STATUS가 Terminating 상태에서 멈춰있으며, 삭제되지 않는다. 해결 방법 $ sudo kubectl edit pv $ sudo kubectl edit pvc 위 두 명령어를 각각 사용했을 때 나오는 설정들에서 "finalizers"를 찾아 삭제한다. Finalizers는 리소스의 삭제 이전까지 삭제 표시를 위해 특정 조건이 퉁족될 때까지 대기하도록 알려주기 위한 키이다.

Helm과 k8s(또는 k3s)가 설치 된 이후에 아래 내용 수행 가능 1. Helm Chart 만으로 배포 helm chart 만 사용하여 Elasticsearch를 배포하는 방법 helm chart repo add (예시는 bitnami의 chart를 사용합니다.) #repo 추가 $ helm repo add bitnami https://charts.bitnami.com/bitnami "bitnami" has been added to your repositories #repo list 조회 $ helm search repo bitnami NAME CHART VERSION APP VERSION DESCRIPTION bitnami/airflow 16.2.1 2.8.0 Apache Airflow is a ..

JAVA는 기본적으로 camel case로 변수명을 선언한다. 1 2 3 4 5 6 public class UserRequest { private String userName; private String userPhone; private String mail; } cs 요청하는 Json의 Key값의 표기법을 snake case로 보내게 된다면 값이 제대로 나오지 않는다. 1 2 3 4 5 { "user_name" : "Spring Boot", "user_phone" : "010-0000-0000", "mail" : "abc1234@gmail.com" } Colored by Color Scripter cs #요청 Json 1 UserRequest(userName=null, userPhone=null, ma..

보호되어 있는 글입니다.

Docker 환경의 Elasticsearch를 기준으로 다음과 같이 user를 생성할 수 있다. /usr/share/elasticsearch/bin/elasticsearch-users useradd 유저명이후 패스워드를 2번 입력하면 User가 생성된다. 여기까지 진행하면 아무 권한이 없는 빈 User가 생성된다. 그래서 권한을 추가해줘야 한다. /usr/share/elasticsearch/bin/elasticsearch-users role 유저명 -a 권한명Built-in 권한을 이용하면 간편하게 권한을 사용할 수 있다. Built-in-roles

보통 Dockerfile을 작성할 때 필요한 라이브러리 설치를 위해 RUN 명령어를 이용하여 설치한다. RUN apt update \ && apt install -y \ cron \ vim이 때 아래의 방법처럼 하게 되면 cache를 삭제하여 이미지의 크기가 작아지고, 배포가 용이해진다. RUN apt update \ && apt install -y \ cron \ vim \ && apt clean \ && rm -rf /var/lib/apt/lists/* \

Python으로 Elasticsearch를 다루면서 Doc를 Updqte하는 방법 실험 내용입니다. 초기 doc 구조 "test1" : "good123", "test2" : "asdfd" test 내용 Test1 # test1 필드는 동일, test2 필드는 내용 변경, test 필드는 새롭게 추가 update_doc = [ { "update" : { "_id": "123123", "doc" : { "test1" : "good123", "test2" : "asdfds123", "test" : "werwear" } } } ] => update 아님. update는 일반 필드로 잡힘 ※부적합 Test2 test1과 조건은 동일하지만, json형태를 변경 update_doc = [ { "_id": "12312..