목록2025/04/16 (1)
엔지니어 블로그
[DayCar] 리팩토링 일지 - 2편: 처음으로 돌아가기
이전 글에서 DB 연결 코드를 손 봤었는데, 암만 생각해도 이전과 동일한 구조를 벗어나 좀 더 확장된 아키텍처를 가져가고 싶은 욕심에 아키텍처를 전면 수정하여 진행하기로 했습니다.각 단계에 대한 설명은 아래와 같습니다.1. 데이터 수집 - Python기존의 데이터 수집은 Python의 Requests,BeautifulSoup을 통해 진행됐습니다. 완전 동기 방식으로 수집 되고 있어 수집 속도가 매우 느렸습니다. 속도 향상을 위해 async 방식과 Playwright 라이브러리를 선택했습니다. Playwright는 headless browser 기반이며, 비동기 병렬 처리에 특화된 도구입니다. 병렬 수집을 도입하여 더욱 빠른 속도의 수집을 기대하고있습니다.2. Buffer를 통한 디커플링 - Redis병렬..
개인 프로젝트/DayCar 프로젝트
2025. 4. 16. 15:04