엔지니어 블로그

Kafka를 통한 데이터 스트리밍 프로젝트를 진행하려고합니다.이번 프로젝트에서는 원유 및 금의 시세 변화가 S&P 500 지수 내 종목들의 섹터별 주식 가격에 미치는 영향을 분석합니다. 프로젝트 배경금융 시장에서는 원유와 금 가격의 변화가 경제 전반에 영향을 미치며, 특히 섹터별로 그 영향의 정도가 다를 수 있습니다. 본 프로젝트의 목적은 원유와 금 시세가 특정 섹터에 속한 기업 주가에 얼마나 영향을 주는지 분석하는 것입니다.아키텍처Postgresql의 데이터를 Python에서 Producer를 개발하여 수집합니다. raw 데이터를 CloudStorage에 저장 후 Spark Streaming으로 데이터를 처리, 완료 된 데이터를 BigQuery와 CloudStorage에 저장합니다. 마지막으로 Look..

에러 내용psycopg2.OperationalError: connection to server at "localhost" (::1), port 5432 failed: fe_sendauth: no password suppliedpython에서 .env를 사용하여 postgresql에 연결하는 과정에서 위와같은 에러가 나왔다.from dotenv import load_dotenvclass Database(): def __init__(self): load_dotenv() print(os.getenv("DB_HOST")) 이런 식으로 print를 해봤을때 None이 프린트 되는 것으로 봐서 .env를 찾지 못하고 있는 것 같았다.해결 방법간단하게 해결했다. .env의 경로를 잡아주..