현재 저희 팀은 Google Cloud를 기반으로 대규모 분산 시스템을 운영 중이며, 인프라 및 애플리케이션 로그, 메트릭, 이벤트를 보다 지능적으로 분석해서 운영 효율을 높이고자 합니다. AIOps 도입을 검토하고 있으며, 상용 SaaS 대신 오픈소스 기반으로 구성하고자 합니다.
궁금한 점은 다음과 같습니다:
실제로 오픈소스를 활용해 AIOps를 구현해 본 분들의 경험과 실제 구축 사례를 공유해주시면 감사하겠습니다.
[CloudBro AI Bot Response]
Google Cloud 환경에서 오픈소스 도구를 활용해 AIOps를 구현하는 것은 충분히 현실적이며, 특히 Prometheus, Grafana, Loki, Fluent Bit 같은 CNCF 기반 도구들이 잘 어울립니다. 아래는 현실적인 아키텍처와 주요 구성 요소, 그리고 GCP 네이티브 서비스와의 연계 방안에 대해 정리해 드립니다.
요약하면, Google Cloud 환경에서는 오픈소스 CNCF 도구를 기반으로 데이터 수집, 저장, 시각화, 이상 탐지, 자동 대응까지 AIOps 파이프라인을 구축할 수 있으며, GCP 네이티브 서비스와의 연동을 통해 운영 효율성을 극대화할 수 있습니다. 필요시 머신러닝 기반 이상 탐지 모델을 개발해 KubeFlow 등으로 배포하는 것도 고려해 보세요. 추가적으로 구체적인 구현 방법이나 데모 코드가 필요하면 알려주세요.
안녕하세요~~ 애플리케이션부터 ml까지 넓은 range의 질문이라 단답형으로 답변 드리기 쉽지 않음을 양해 부탁드립니다.
Google Cloud 환경에서 Prometheus, Grafana, Loki, Fluent Bit 등을 활용해 AIOps를 구축할 수 있는 현실적인 아키텍처는 어떤 모습일까요?
==> gcp라고 크게 다르지는 않을 것 같고 생각하시는 기본적인 기술 스택이 있을지 먼저 고민해 봐야 할 것 같습니다.
기술스택을 정하지 않았다는 전제하에, 일단은 오픈소스들을 보니 컨테이너 기반으로 구축을 하면 좋을 듯 하고 gcp에서 컨테이너는 cloudrun이나 gke(k8s)가 있을 듯 합니다.
다만 cloudrun은 serverless 솔루션으로 단일 컨테이너를 rest api로 서비스할 때 적합하고, 언급한 오픈소스 패키지를
보면, 아무래도 k8s를 쓰는게 적합할 듯 합니다.
오픈소스의 내용을 보니 로그/모니터링 정보 수집해서 분석하는게 목표인듯 보이네요~~ 수집하는 fluent 정도가 수집 대상이 늘어나면 scale out이 필요해 보여서, 해당 컴포는트에 대한 auto scaling 설정을 하면 좋을 듯 합니다.
이상 탐지(Anomaly Detection), 자동 대응(Auto-remediation)을 위한 구성 요소에는 어떤 오픈소스 툴이 적합한가요?
==> 이상탐지 자체는 제 생각에 뚜렷이 해당 기능을 하는 오픈소스는 없는 걸로 알고 있습니다. 이상탐지를 위한 ml model을 학습해서 해당 모델을 운영하는 컴포넌트가 필요할 듯 합니다. gcp에는 custom model을 deploy 및 serving 할 수 있는 vertex ai를 사용하면 좋을 듯요 (물론 학습도 가능).
학습은 저는 개인적으로 automl을 추천드립니다. 예전에 데모용으로 로그와 모니터링 메트릭들을 nlp와 classification 모델을 사용해서 anomaly detection을 했었는데 잘 동작했었습니다. 다만, detect 하려는 anomaly case와 유형이 많다면 custom model을 작게 만드는 것을 추천합니다.
GCP의 Cloud Logging 및 Cloud Monitoring과의 연계 방식도 알고 싶습니다.
==> logging은 fluent로 수집하는 로그를 sink로 넣는 기능이 있으니 연동 가능합니다. 또는 반대로 cloud logging에 수집된 로그 정보를 다른 log sink로 보낼 수도 있습니다. 다만, 어디를 main log storage로 사용할지 고민이 필요할 듯 합니다. decision point는 구축하시려는 서비스가 gcp 기반의 서비스에 대한 anomaly 라면 cloud logging(및 monitoring)이 좋을 것이고, 대고개 서비스로 paas나 b2c 서비스를 고민 중이시라면 cloud storage와 같은 low level 컴포넌트를 활용해서 수집하고, 해당 raw data를 오픈소스로 불러오는게 roi 면에서 유리할 듯 합니다. 아무래도 cloud monitoring의 가격은 cloud storage를 사용하시는 것보다 단가가 높습니다.
cloud monitoring도 비슷합니다. 다른 모니터링 도구에서 수집한 메트릭들을 넣는 기능 OpenTelemetry나 ops agent
등을 통해서 외부 정보를 수집할 수도 있고, 반대로 cloud monitoring 정보를 외부의 오픈소스 모니터링 도구로
export 하는 기능도 있습니다. 연동은 이렇게 하면 되고, monitoring metric 들의 저장소를 어디로 할 것인가에 대한 고민이 되면 좋을 듯 합니다.