🚀 Autonomous CloudOps Agent 구축 스토리 공유 - SRE & DevOps 엔지니어들을 위한 새로운 시도!

[cloudbro-radar]

SRE와 DevOps Engineer들이 장애 대응을 위해서, Datadog, CloudWatch, Dynatrace, Prometheus 같은 Monitoring Tool을 사용하지만, Monitoring에 어떤 것이 진짜 문제인지, 어떤 것은 단순한 노이즈인지, 그리고 무엇을 먼저 해야 할지에 대해서 다소 혼선을 얘기하게 됩니다. 이를 자동화하고, 발빠른 조치를 하기 위해, AI와 규칙 기반 접근을 활용해 CloudOps 구현을 만든 Story를 공유합니다.

[출처] https://medium.com/@dheerajganeshn/reimagining-sre-workflows-with-agentic-aiintroduction-ae0867ae8b30

CloudOps를 위한 Agent는 Node.js + React 기반으로, 알람을 받아서 사건 단위로 묶고, Pod 재시작이나 릴리스 롤백 같은 대응책을 제안하며, 운영자의 피드백(RLHF-lite)을 통해 점점 더 나은 추천을 할 수 있도록 설계했습니다.

왜 시작했을까?

• 알람 피로감: 동일한 근본 원인인데도 수십 개의 불필요한 알람 발생
• 수동 분류: 어떤 조치를 먼저 취할지 판단하느라 시간 낭비
• 느린 MTTR: 다운타임이 길어질수록 비용과 신뢰도 손실 발생

제안하는 해결책 w/ Autonomous CloudOps Agent

1. 알람을 사건 단위로 묶어 → 노이즈를 줄이고, 20개의 알람을 1개의 카드로 단순화
2. 자동화된 대응책 제시 → Pod 재시작, 릴리스 롤백, 레플리카 확장
3. 피드백을 반영해 추천 개선 → RLHF-lite Loop로 Confidence 점수 재조정

아키텍처 개요

사용된 주요 구성 요소는 다음과 같습니다.

• Backend: Node.js + TypeScript + Fastify
• Persistence: Prisma ORM + SQLite(개발용), 이후 PostgreSQL
• Frontend(예정): React + Vite 기반 대시보드
• 알림(계획 중): Slack 연동
• 피드백 루프: / 기반 RLHF-lite

현재까지의 진행한 항목

Backend 초기화 (Node.js + TypeScript + Prisma)

Database 스키마 정의 및 첫 Migration 적용

Database Schema with Prisma

model Incident {

id String @id@default(cuid())

createdAt DateTime @default(now())

status String @default(“open”)

severity String @default(“medium”)

title String

description String

alerts Alert[]

suggestions ActionSuggestion[]

}

model Alert {

id String @id@default(cuid())

source String

message String

severity String

ts DateTime @default(now())

incident Incident? @relation(fields: [incidentId], references: [id])

incidentId String?

}

model ActionSuggestion {

id String @id@default(cuid())

incidentId String

actionType String

description String

confidence Float @default(0.5)

feedback Feedback[]

}

model Feedback {

id String @id@default(cuid())

suggestionId String

value Int

comment String?

createdAt DateTime @default(now())

}

Fastify API 라우트(incidents + feedback)

API Routes

• GET /api/incidents → list incidents with alerts & suggestions
• POST /api/incidents/ingest → create demo incident from mock alerts
• POST /api/feedback → record / feedback

Analyzer Service (rules-based)

export function analyzeIncidents(alerts) {

const hasOOM = alerts.some(a => /OOMKilled/.test(a.message));

const has5xx = alerts.some(a => /5\d{2}/.test(a.message));

const suggestions = [];

if (hasOOM) suggestions.push({ actionType: ‘restart_pods’, description: ‘Restart pods with memory limits.’, confidence: 0.7 });

if (has5xx) suggestions.push({ actionType: ‘rollback’, description: ‘Rollback to previous stable release.’, confidence: 0.65 });

return {

title: has5xx ? ‘Error-rate spike’ : hasOOM ? ‘Pods OOMKilled’ : ‘General alert’,

severity: has5xx || hasOOM ? ‘high’ : ‘medium’,

suggestions

};

}

추가적으로 진행해야하는 항목

Analyzer 서비스(기본 규칙)
React 대시보드
Slack 알림 + CI/CD 파이프라인
RLHF-lite 피드백 루프

얻은 역량

• Backend 엔지니어링: Fastify, TypeScript ESM, Prisma ORM
• Database 모델링: 사건, 알람, 피드백 루프 설계
• API-first 개발: 테스트 가능한 엔드포인트 설계
• DevOps 실무: Migration, .env 관리, CI 파이프라인 구축
• SRE 지식: 사건 모델링, 대응 플레이북 설계

앞으로의 로드맵

• React 대시보드 → 사건 시각화 및 원클릭 피드백
• Slack 연동 → 새로운 사건 알림 및 대응 실행 시뮬레이션
• Datadog + CloudWatch 어댑터 → Mock 알람 대신 실제 시그널 연계
• 피드백 재가중치 → Confidence 점수를 운영자 피드백 기반으로 업데이트
• 배포 → Docker + Kubernetes 매니페스트로 실사용 환경 적용

앞으로의 비전: LLM과 Agentic AI MVP 단계에서는 규칙 기반 분석으로 시작하지만, 장기적으로는 LLM과 Agentic AI를 결합해 더 고도화된 장애 분석을 목표로 합니다.

LLM 활용 방식

• 자연어 요약: 수많은 알람을 사람이 읽을 수 있는 간결한 사건 요약으로 변환
• Runbook 검색(RAG): 내부 Runbook/Confluence/Jira 문서를 질의해 검증된 대응책 제공
• 맥락적 추론: 로그, 에러 트레이스, 메트릭을 연결해 “가능한 원인”을 설명

Agentic AI 활용 방식

• 다단계 의사결정: 단순 제안이 아니라 연속적인 계획 수립 → “롤백 → Pod 확장 → 에러율 검증 → Slack 알림”
• 자율 실행(안전장치 포함): 승인 기반으로 안전한 대응책 자동 실행
• 학습 루프: RLHF-lite로 매번 더 나은 triage 결정

이 혁신이 SRE & DevOps를 바꾸는 이유

• 반응적 → 선제적: 단순 알람 대응을 넘어, 위험한 배포를 미리 감지
• 인간-중심 AI: 엔지니어를 압도하는 데이터 대신, 명확한 다음 단계를 제시
• 확장 가능한 지식 축적: 모든 결정과 결과가 지식으로 축적되어 잊히지 않음
• 더 빠른 복구, 더 적은 피로: MTTR 단축, 불필요한 알람 감소, 온콜 스트레스 완화

즉, 오늘의 규칙 기반 triage가 내일은 학습-driven 에이전트 코파일럿으로 발전해 SRE/DevOps 팀의 든든한 파트너가 될 것입니다.

기업에 주는 가치

• MTTR 단축 → 다운타임 비용 절감
• 알람 피로감 감소 → 중복/노이즈 알람 최소화
• 의사결정 품질 향상 → 규칙과 과거 피드백 기반의 제안
• 지식 루프 구축 → 대응 플레이북이 자동으로 진화

이는 대규모 분산 시스템을 운영하는 기업에게, 엔지니어의 밤샘을 줄이고 고객에게는 더 안정적인 서비스를 제공한다는 의미를 가집니다.