목록전체 글 (87)
엔지니어 블로그
[HIVE] Hive Metastore란?
Hive Metastore hive는 table,partition과 관련된 정보를 메타스토어 저장소에 저장한다. 데이터를 조회할 때 저장소의 데이터를 기반으로 빠르게 조회가 가능하다. 관계형 DB와 달리 insert 이후 스키마를 적용하게 되는데, 스키마 정보 또한 metastore에서 가져오게 된다. metastore는 메타데이터를 저장하는 저장소의 개념이 아닌, 요청에 알맞는 metadata를 찾을 수 있도록 서버와 저장소 사이에서 중개하는 역할을 한다. 1.유형 metastore는 총 3가지 유형이 있고, 각각 임베디드,로컬,원격 metastore라고 한다. 1.Embedded Metastore hive metastore의 기본 설정값이다. hive가 설치된 로컬 머신에 metastore가 데이터를..
[K8S] pv,pvc 삭제 안됨
환경 Ubuntu K3S 상황 persistent volume 삭제 안됨 오류 내용 pv 삭제시 STATUS가 Terminating 상태에서 멈춰있으며, 삭제되지 않는다. 해결 방법 $ sudo kubectl edit pv $ sudo kubectl edit pvc 위 두 명령어를 각각 사용했을 때 나오는 설정들에서 "finalizers"를 찾아 삭제한다. Finalizers는 리소스의 삭제 이전까지 삭제 표시를 위해 특정 조건이 퉁족될 때까지 대기하도록 알려주기 위한 키이다.
[K8S] Elasticsearch를 Helm Chart + Kustomize로 배포
Helm과 k8s(또는 k3s)가 설치 된 이후에 아래 내용 수행 가능 1. Helm Chart 만으로 배포 helm chart 만 사용하여 Elasticsearch를 배포하는 방법 helm chart repo add (예시는 bitnami의 chart를 사용합니다.) #repo 추가 $ helm repo add bitnami https://charts.bitnami.com/bitnami "bitnami" has been added to your repositories #repo list 조회 $ helm search repo bitnami NAME CHART VERSION APP VERSION DESCRIPTION bitnami/airflow 16.2.1 2.8.0 Apache Airflow is a ..
보호되어 있는 글입니다.
Docker 환경의 Elasticsearch를 기준으로 다음과 같이 user를 생성할 수 있다. /usr/share/elasticsearch/bin/elasticsearch-users useradd 유저명이후 패스워드를 2번 입력하면 User가 생성된다. 여기까지 진행하면 아무 권한이 없는 빈 User가 생성된다. 그래서 권한을 추가해줘야 한다. /usr/share/elasticsearch/bin/elasticsearch-users role 유저명 -a 권한명Built-in 권한을 이용하면 간편하게 권한을 사용할 수 있다. Built-in-roles
보통 Dockerfile을 작성할 때 필요한 라이브러리 설치를 위해 RUN 명령어를 이용하여 설치한다. RUN apt update \ && apt install -y \ cron \ vim이 때 아래의 방법처럼 하게 되면 cache를 삭제하여 이미지의 크기가 작아지고, 배포가 용이해진다. RUN apt update \ && apt install -y \ cron \ vim \ && apt clean \ && rm -rf /var/lib/apt/lists/* \
Python으로 Elasticsearch를 다루면서 Doc를 Updqte하는 방법 실험 내용입니다. 초기 doc 구조 "test1" : "good123", "test2" : "asdfd" test 내용 Test1 # test1 필드는 동일, test2 필드는 내용 변경, test 필드는 새롭게 추가 update_doc = [ { "update" : { "_id": "123123", "doc" : { "test1" : "good123", "test2" : "asdfds123", "test" : "werwear" } } } ] => update 아님. update는 일반 필드로 잡힘 ※부적합 Test2 test1과 조건은 동일하지만, json형태를 변경 update_doc = [ { "_id": "12312..
[Git] Pull,Push 실행시 username/password 재입력 생략
git push 혹은 pull을 할 때, 매번 username과 password 입력을 요구한다. 한 두번은 괜찮지만 지속적으로 형상관리를 해야하는 경우 많이 귀찮은 일이다. 그래서 해당 입력을 생략하는 기능을 찾았다. $ git config credential.helper store --global 해당 커맨드를 입력하면 username과 password를 재입력하지 않아도 pull push를 할 수 있게 된다.