📡 Kubeflow, CNCF 인큐베이터 프로젝트로 합류 - MLOps

[cloudbro-radar]

Kubeflow, CNCF 인큐베이터 프로젝트로 합류

2023년 7월 25일, Kubeflow가 Cloud Native Computing Foundation(CNCF)의 인큐베이터 프로젝트로 채택되었습니다. 이는 머신러닝 운영(MLOps)을 위한 오픈소스 툴킷으로서의 Kubeflow의 중요성을 강조하는 의미 있는 발전입니다.

---

Kubeflow란?

Kubeflow는 Kubernetes 상에서 머신러닝(ML) 워크플로우를 배포하고 관리하기 위한 오픈소스, 커뮤니티 주도 프로젝트입니다. TensorFlow, PyTorch, XGBoost, Apache MXNet 등 다양한 프레임워크를 지원하며, Kubernetes의 네이티브 기능을 활용하여 확장성과 보안성을 제공합니다.

---

주요 구성 요소

• Notebooks 워킹 그룹: Jupyter, VSCode, R-Studio 기반의 인터랙티브 개발 환경을 구축하여 모델 개발과 실험을 지원합니다.
• Training Operator 워킹 그룹: 분산형 ML 훈련을 위한 오퍼레이터를 개발하여 대규모 딥러닝 모델의 효율적인 훈련을 가능하게 합니다.
• AutoML 워킹 그룹 (Katib): 하이퍼파라미터 튜닝과 신경망 구조 탐색(NAS)을 통해 모델 최적화를 자동화합니다.
• Kubeflow Pipelines 워킹 그룹: Python ML 스크립트를 안정적인 워크플로우 템플릿으로 변환하여 재사용성과 관리 용이성을 제공합니다.
• Manifests 워킹 그룹: Kustomize를 활용하여 Kubeflow의 설치 및 구성 관리를 담당합니다.
• KServe 프로젝트: Kubernetes 상에서 확장 가능하고 표준 기반의 모델 추론 플랫폼을 개발하여 프로덕션 환경에서의 모델 서빙을 간소화합니다.

---

커뮤니티와 생태계

• 150개 이상의 기업이 기여
• 15회 이상의 주요 릴리스
• 28,000개 이상의 GitHub 스타
• 9,000명 이상의 Slack 회원

---

향후 계획

Kubeflow는 2023년 10월 예정된 v1.8 릴리스를 통해 다음과 같은 기능을 도입할 예정입니다:

• Kubeflow Pipelines 2.0의 일반 제공(GA)
• AutoML 실험 기능의 확장
• Training Operator의 모델 병렬화 및 커스텀 스케줄러 지원 강화

---

CNCF 인큐베이터로서의 의미

CNCF의 인큐베이터 프로젝트로 채택됨으로써, Kubeflow는 중립적인 거버넌스와 커뮤니티 지원을 받게 되었습니다. 이는 Kubeflow의 지속적인 발전과 생태계 확장을 위한 중요한 이정표입니다.

---

[출처] 블로그 원문 보기

[jerry]

Good To know