엔지니어 블로그

1. 소프트웨어 생명주기 시스템의 요구사항 분석부터 유지 보수까지의 전과정을 체계화한 철차를 뜻한다. 요구분석 - 설계 - 구현 - 테스트 - 유지보수 총 5단계로 진행된다. 1-1. 소프트웨어 생명주기의 종류 폭포수 => 각 단계를 확실히 마무리 지은 후 다음 단계로 넘어가는 모델이다. 프로토타이핑 => 프로토타입을 제작하여 고객의 피드백을 받고 반영하여 소프트웨어를 만드는 모델이다. 나선형 => 계획-위험분석-개발-고객평가 4단계가 반복적으로 시행되는 모델이다. 반복적 모델 => 구축 대상을 병렬 개발 후 통합하여 완성시키는 모델이다. 1-2. 소프트웨어 개발 방법론 소프트웨어 개발 전과정에 지속적으로 적용 가능한 방법 철차 구조적 방법론 => 전체 시스템을 기능에 따라 분리 개발하고 통합하는 분할과..

서울시 상가 정보 데이터로 검색 기능을 구현하는 프로젝트를 진행한다. 1.데이터 전처리 우선 빅데이터 포털에서 csv로 된 raw data를 다운받아 columns를 확인해 봤다. pandas를 사용해서 30개가 넘는 columns 중 필요한 것만 남기고 모조리 삭제했다. logstash로 필터링해서 가져오고 싶었지만 data의 크기가 너무 커서 부담스러운 작업이었기 때문이다. 이렇게 필요한 columns만 남긴 후 내부의 data들을 살펴봤다. 눈에 띄는 것은 지점 명과 층 정보에 보이는 null값이었다. null값은 Es에서 mapping 하면서 해결할 수 있을 것 같아 시도해 보았다. #default_value 값을 설정해서 해결 시도 floor : { "type" : "integer", "null..

m1 환경에서 logstash를 사용하려고 하는데 오류가 발생했다. 온갖 검색을 다 해봐도 해결할 수 없었다... 지푸라기라도 잡는 심정으로 ELK 커뮤니티에 문의해봤고 한분이 답을 주셨다. 은인이다. 컴퓨터에 설치된 jdk가 아니라 logstash의 bundled jdk를 사용해야 한다고 하셨다. 그래서 미리 설정해둔 $JAVA_HOME 환경 변수를 unset 해준 후 실행시켜 보았더니 거짓말처럼 실행됐다. 교훈. m1의 jdk는 호환성이 좋지 못하다,,,

Elasticsearch CRUD 기본적인 내용 Create - PUT,POST 데이터를 입력 할 때는 PUT 메서드를 사용한다. 아래의 예는 이름이 my_index인 Index에 document id가 1일 데이터를 입력하는 내용이다. PUT my_index/_doc/1 { "name":"ankiyong", "text":"HELLO!!" } 동일한 URL에 다른 내용을 다시 입력하게 되면 기존의 document는 삭제되고 새로운 내용으로 덮어씌워지게 된다. 즉 PUT는 Update기능도 같이 할 수 있다. Read - GET 데이터를 조회할 때는 GET 메서드를 사용한다. GET my_index/_doc/1 Update - POST POST 메서드는 PUT와 매우 유사하게 데이터 입력에 사용이 가능하다..