AWS 데이터 서비스, " 실시간 서버리스 데이터 파이프라인입니다.
활용한 서비스: AWS Data Catalog, DataBrew, DynamoDB
인프라 배포: Terraform으로 자동화
1. 목표
- 실시간 데이터 파이프라인을 완전 서버리스(Serverless) 방식으로 구축.
- 인프라는 Terraform으로 관리하고, 데이터 처리와 변환은 AWS 서비스 + Python으로 구현.
2. 사용 기술 스택
- Terraform → IaC(Infrastructure as Code)로 모든 AWS 리소스 관리.
- AWS Lambda → 이벤트 기반 실시간 데이터 처리.
- AWS DynamoDB → 실시간 데이터 저장.
- AWS Glue & DataBrew → 데이터 정제 및 변환.
- AWS Athena → 데이터 쿼리 및 분석.
- Python → 데이터 처리 로직 및 Lambda 함수 코드 작성.
3. 아키텍처 흐름
- 데이터 소스에서 실시간 이벤트 발생
- 이벤트가 AWS Lambda로 전달되어 처리
- 결과 데이터는 DynamoDB에 저장
- Glue/DataBrew로 데이터 정제 및 준비
- Athena를 통해 쿼리 및 분석 가능
4. 장점
- 서버 관리 불필요: 완전 서버리스 환경 → 운영 부담 감소.
- 확장성: 이벤트 발생량에 따라 자동으로 확장.
- 비용 효율성: 사용한 만큼만 비용 지불.
- 코드 기반 관리: Terraform을 통한 재현 가능하고 일관된 인프라 배포.
결론:
이 글은 “Terraform + AWS + Python”을 조합해 실시간 데이터 파이프라인을 완전히 서버리스로 구축하는 실무형 가이드로, 확장성과 비용 효율성을 동시에 얻을 수 있다는 점이 핵심 메시지입니다.