😅 AI Copilot으로 플랫폼 엔지니어링 재정의에 대한 고찰 🚀

[cloudbro-radar]

AI 코파일럿: 3계층 아키텍처

AI 코파일럿 시스템은 단순히 LLM 한 번 호출하는 방식이 아닙니다. 마치 세계 최고 수준의 수석 엔지니어가 사고하는 과정을 흉내 내는 정교한 3계층 플랫폼으로 설계되었습니다.

Layer 1: Universal Translator (의도 인식)

첫 번째 계층은 파인튜닝된 대규모 언어 모델(예> Claude 3)로, 일종의 “ Universal Translator” 역할을 합니다. 이 모델은 수천 건의 내부 설계 문서, 런북, 기존 YAML 파일로 학습되어 있습니다.

이 계층의 유일한 임무는 자연어로 작성된 spec을 읽고, 이를 구조화된 기계 판독 가능한 형식으로 변환하는 것입니다.

• 자연어로 작성된 spec 예제
  • " 우리의 새로운 recommendations-api를 프로덕션 서비스로 배포해 주세요. Go 애플리케이션이며, 10GB Postgres 데이터베이스와 작은 Redis 캐시가 필요합니다. 높은 트래픽을 처리할 수 있도록 autoscale이 되어야 하고, 세 개의 availability zones에 걸쳐 high availability를 유지해야 합니다. 알림은 #recommendations-alerts Slack 채널로 보내 주세요. 월 비용은 $1,500 이하로 유지해 주세요."

아래와 같이 자연어로 작성된 spec을 이 계층에서 구동하는 Python 코드의 일부로 만들어줍니다.

# A simplified look at our intent recognition engine
import json
from anthropic import Anthropic

class IntentRecognizer:
    def __init__(self, fine_tuned_model_id):
        self.client = Anthropic()
        self.model_id = fine_tuned_model_id
    def parse_spec(self, natural_language_spec: str) -> dict:
        prompt = f"""
        You are a world-class Principal Engineer. Your task is to analyze the following
        high-level service specification and translate it into a structured JSON object.
        Identify all application components, their resource requirements (CPU, memory, storage),
        their dependencies, networking rules, scaling policies, and any security or cost constraints.
        Specification:
        ---
        {natural_language_spec}
        ---
        Return only the structured JSON object.
        """
        response = self.client.messages.create(
            model=self.model_id,
            max_tokens=2048,
            messages=[{"role": "user", "content": prompt}]
        )
        return json.loads(response.content[0].text)

Layer 2: Master Builder (멀티 클라우드 Generator)

의도가 구조화되면 이제 **“Master Builder”**가 작업을 이어받습니다. 이 계층은 결정론적 코드 생성기로, LLM에서 나온 JSON 객체를 받아 실제 Kubernetes YAML과 Terraform HCL을 생성합니다.

여기서 중요한 점은 AI가 코드를 처음부터 직접 작성하지 않는다는 것입니다. 대신 우리가 미리 승인하고 수없이 검증해온 인프라 패턴 라이브러리를 활용합니다. 신뢰할 수 있는 구성 요소를 조합하는 방식으로 일관성과 모범 사례 준수를 보장하는 것입니다.

Layer 3: Digital Immune System (디지털 면역 시스템 - 정책 기반 검증 & 개선)

이 계층이야말로 가장 핵심적인 부분입니다. 코드 한 줄이 커밋되기 전에 반드시 **“Digital Immune System ”**을 통과해야 합니다. 단순한 return되는 것이 아니라, 닫힌 루프 형태의 검증과 개선 엔진입니다.

Validation (검증): 생성된 코드를 대상으로 수백 가지 검사를 실행합니다. 보안 취약점, 비용 추정, 잠재적인 신뢰성 문제까지 철저히 점검합니다.

Refinement (개선): 문제가 발견되면(예: 퍼블릭에 노출된 서비스, 과도하게 큰 데이터베이스 등) 단순히 빌드를 실패시키지 않습니다. 위반 사항 목록과 함께 코드를 다시 LLM에 보내 “이 문제들을 수정하라”는 새로운 프롬프트를 전달합니다.

이 반복 루프는 코드가 우리 정책을 100% 준수할 때까지 계속됩니다. 즉, 사람이 보기 전에 자동으로 문제를 잡아내는 완전 자동화된 코드 리뷰인 것입니다.

[출처] https://medium.com/write-a-catalyst/we-fired-our-yaml-the-intern-is-now-our-best-platform-engineer-2eb447a895bf