✋[Open Project Season II] 질문 - LLM 기반 시스템의 컨텍스트 관리, 토큰 최적화 및 메모리 메커니즘 처리 전략?

Ask Question
,
1

llm 호출할때 컨텍스트 관리나 토큰비용, 질문 히스토리를 기억하는 메모리 같은 기능은 어떻게 처리되는지 궁금합니다

| This is a space where knowledge is not merely consumed, but respected, sovereign, and connected—shared together with cloud industry professionals (Bros).|
| 지식이 소비되지 않고 존중·주권보장·연결되는 공간으로 클라우드 현업 전문가(Bro)와 함께 공유하고 있습니다. |

2

k13d의 경우, 각 항목별 처리 전략은 아래와 같습니다.

1. 컨텍스트 관리

  • AI 어시스턴트가 리소스를 분석할 때 YAML 매니페스트, k8s 이벤트, 컨테이너 로그, 메트릭 데이터를 함께 컨텍스트로 제공하도록 처리되어 AI는 이미 클러스터 리소스의 모든 정보를 알고 있는 상태에서 응답하도록 구성

2. 토큰 비용 최적화를 위해 적용된 방식

  • 불필요하게 많은 도구 정의를 컨텍스트에 포함시키지 않도록 kubectl 도구만 노출하고 MCP를 Opt-In 방식으로 제공
  • 대용량 출력크기 제한(truncated)
  • 토큰 소비에 영향을 주는 파라미터들은 글로벌 런타임 설정(llm 섹션)으로 분리
  • 실패가 예정된 명령들은 하드블록하여 토큰소진을 막도록 처리

3. 메모리 관리 메카니즘

  • 단기 메모리: 세션 내 대화 히스토리
  • 장기 스토리지: SQLite 기반 감사 로그
1 Like