AI 기반 스케쥴링은 가능할까요? - 이철(@Cheol_Lee) Bro님 질문

[jerry (이제응)]

Scheduling 이라는 의미에서, 국내 기업인 래블업 제품도 있고, CNCF Opensource Project인 HAMi 도 있습니다.

HAMi로 Kubernetes에서 이기종 AI 컴퓨팅 자원 효율 극대화하기

1. 클라우드 네이티브 AI 환경의 도전 AI 워크로드가 다양해지면서 GPU, NPU, MLU 등 여러 종류의 이기종 컴퓨팅 자원을 하나의 Kubernetes 클러스터에서 효율적으로 활용하기가 점점 더 어려워졌으나, 자원 단편화와 벤더 락인 문제로 인해 유휴 자원이 늘어나고, 복잡한 설정으로 운영·관리 부담이 가중되고 있습니다. 2. HAMi가 제공하는 해법 HAMi(Heterogeneous AI Computing Virtualization Middleware)는 ‘all‑in‑one’ Helm 차트 형태로 제공되며, Kubernetes 네이티브 API를 그대로 사용해 별도 변경 없이 즉시 도입할 수 있습니다. 또한 인터넷, 금융, 제조, 클라우드 사업자들이 공동으로 참여하여 CNCF 샌드박스 프로젝트로 관리되므로 완전한 오픈 거버넌스 환경을 보장합니다. [image] 3. 주요 기능 요약 Kubernetes Native API 호환: 기본 스케줄러 동작을 그대로 …