대학교에서 데이터 정제, 머신러닝, 딥러닝 등을 전공으로 학습했고 개인적으로 설계하고 만들어본 모델은 이미지 분류 모델이 한 개 있습니다. 최근에는 직업 훈련을 통해서 클라우드 분야의 kubernetes, docker, aws 등을 배웠습니다. 대학교를 다니면서 자격증은 ADsP, SQLd, RHCSA정도 취득을 했고 정보처리 기사와 네트워크 관리사 자격증은 필기까지 합격한 상황입니다. 그리고 CKA 도 이번주에 시험 예정에 있습니다. 이런것들을 연결지어서 로드맵을 그리고 싶은데 제가 지금까지 너무 게을렀었는지 어떤 식으로 공부를 해야하는지 어떤 기술 스택을 공부해야 좋을지에 대한 갈피를 아직까지도 잡지 못하고 있습니다. 그래서 조언을 구하고자 글을씁니다.
1개의 좋아요
안녕하세요 승화님, 혹시 어떤 직무를 목표로 하고 계신가요? MLOps/AI 인프라 쪽으로 가고 싶은지, DevOps/클라우드 엔지니어 쪽으로 가고 싶은지, 아니면 데이터 엔지니어 쪽인지… 등에 따라 로드맵이 달라질 것 같습니다. 지금 스킬셋이 데이터/ML과 클라우드/인프라 양쪽에 걸쳐 있는 것 같아서 좀 더 흥미 있는 쪽이 어디신지 말씀해주시면 저희 Bro 분들이 답변해주시기 좋을 것 같습니다 
1개의 좋아요
답변 감사합니다! 저는 전공인 데이터/AI 지식을 인프라 기술과 접목하는 방향으로 커리어를 잡고 싶습니다.지금까지 배운 것을 버리지 않고 활용하고 싶어서, 단순 클라우드 엔지니어보다는 MLOps나 데이터 플랫폼 엔지니어 쪽을 목표하고 있습니다.
1개의 좋아요
일단 MLOps//AI 나 DevOps 나 기본적인 인프라 및 정보보안 지식은 있는게 좋습니다.
또한 가능하다면 Local LLM 구성 및 질문 형식에 따른 답변의 차이에 기반하는 질의 능력(요즘 프롬프터 라고 하더군요.)도 알아 두시는 게 좋구요.
모델에 따른 데이터 학습 및 결과를 비교해보시는 것도 좋습니다.
다만..
어차피 회사 처음 들어가면 원하시던 직무가 아닌 정말 쓸데없는(이라고 생각할만한) 일을 많이 하게 됩니다.
그런 부분에서 너무 빨리 포기하지 않으셨으면 하는 생각도 있습니다.
배움에는 끝이 없는 법입니다. 하나하나 해가면서 배워가다보면 언젠가 “내”가 잘 하는 것과 하고싶은 것이 나옵니다.
클라우드 엔지니어도 꽤 많은 것을 배워야 하니까요.
목표를 두되 중간에 거치는 직무에서도 항상 최선을 다하며 배우고 익힌다면 언젠가는 최고의 자리에 우뚝 설 수 있습니다.
응원합니다.
2개의 좋아요
조언 감사드립니다! 선배님의 말씀을 들어보니 지금 제가하고 있는 고민들도 크게 중요하지 않을 수 있겠다는 생각이 듭니다. 지금 이 순간에 제가 할 수 있는 것 들을 하고 나중에 회사에 들어가서도 생각치 않던 직무를 맡게 되어도 꾸준히 다 습득해서 저만의 길을 찾도록 하겠습니다. 감사합니다.
3개의 좋아요
좋은 답변입니다. 기조는 그대로 살리면서 몇 가지 빠진 맥락을 채워볼게요.
질문자님의 이력을 보니 '게을렀다’는 표현은 전혀 어울리지 않습니다. 이미 데이터 분석(ADsP, SQLd)과 인프라 기초(RHCSA), 그리고 최신 클라우드 기술까지 한 축씩 차근차근 쌓아오셨네요. 지금 느끼시는 막막함은 게으름 때문이 아니라, 서로 다른 두 거대한 대륙(AI와 인프라) 사이에 다리를 놓는 과정에서 생기는 지극히 당연한 혼란입니다.
현업에서 AI 인프라를 설계하고 운영하는 입장에서, 질문자님이 가진 조각들을 어떻게 하나의 그림으로 맞추면 좋을지 실질적인 로드맵을 제안해 드립니다.
1. 관점의 전환: "모델을 만드는 사람"에서 "모델이 잘 돌아가게 하는 사람"으로
데이터 전공 지식과 쿠버네티스(K8s) 기술이 만나는 지점은 명확합니다. 바로 MLOps(Machine Learning Operations) 또는 AI-Native 인프라 영역입니다.
지금까지 배운 기술들을 이렇게 연결해 보세요.
-
데이터/학습 (대학 전공): 모델이 어떤 데이터를 먹고, 어떤 계산(GPU/Memory)을 필요로 하는지 이해하는 기초 체력.
-
클라우드/K8s (직업 훈련): 그 모델을 24시간 안정적으로 서비스하기 위한 거대한 운동장.
-
자격증 (RHCSA, CKA 등): 그 운동장의 바닥(OS)과 관리 도구(K8s)를 다루는 자격.
여기서 한 가지 덧붙이고 싶은 게 있어요. 많은 분들이 "AI도 알고 인프라도 안다"고 하면서 실제로는 어느 쪽도 깊지 않은 경우가 많습니다. 질문자님은 이미지 분류 모델을 직접 설계하고 만들어본 경험이 있다는 게 다릅니다. 이게 나중에 GPU 메모리 왜 터지는지, 배치 사이즈가 왜 성능에 영향을 주는지 몸으로 아는 사람과 모르는 사람의 차이를 만들어요. 그 경험을 절대 가볍게 보지 마세요.
2. 구체적인 기술 스택 로드맵 (Priority)
1단계: 인프라 숙련도 완성 (현재 진행 중)
-
CKA 합격: 이번 주 시험에 집중해서 인프라 관리자로서의 최소 요건을 갖추세요.
-
IaC (코드형 인프라): AWS를 배우셨으니 Terraform이나 Ansible을 살짝 얹어보세요. 인프라를 수동이 아닌 코드로 배포하는 경험이 핵심입니다.
2단계: AI와 K8s의 접점 찾기 (핵심)
-
GPU 스케줄링: K8s에서 GPU 자원을 어떻게 효율적으로 나눠 쓰는지(NVIDIA Device Plugin, MIG 등) 공부해보세요. 이게 일반 인프라 엔지니어와 AI 인프라 엔지니어를 가르는 한 끗 차이입니다.
-
서빙 플랫폼: 단순히 모델을 돌리는 게 아니라, KServe나 Seldon Core 같은 도구를 이용해 모델을 API 형태로 배포하는 연습을 해보세요. 이미지 분류 모델 만든 경험을 여기서 활용하면 됩니다.
-
모델 경량화 기초: 여기서 한 가지 더 챙기면 좋은 게, 서빙 관련 도구입니다. 서빙할 때 같은 하드웨어에서 처리량을 2~3배 올릴 수 있는데, 이걸 아는 사람이 드물어요. 나중에 비용 최적화 얘기가 나올 때 이 경험이 빛을 발합니다.
3단계: 파이프라인 구축 (MLOps)
-
Kubeflow 또는 Argo Workflows: AI 워크플로우 전체를 K8s 위에서 자동화하는 플랫폼입니다. 데이터 정제부터 학습, 배포까지 연결하는 흐름을 이해하는 데 가장 좋습니다.
-
실험 관리 (MLflow): 모델을 여러 번 돌리다 보면 “이번 실험이 지난번보다 왜 더 좋지?” 혹은 "어느 버전을 배포한 거지?"라는 혼란이 옵니다. MLflow로 실험과 모델 버전을 관리하는 습관을 들여두면 나중에 팀 단위 협업할 때 바로 적용할 수 있어요.
-
LLMOps 방향도 살짝 열어두기: 요즘 현업은 이미지 분류보다 LLM 기반 서비스 비중이 급격히 늘고 있어요. Kubeflow나 KServe를 익히면서 vLLM이나 Triton Inference Server 같은 LLM 서빙 스택도 눈에 담아두시면 좋습니다. 완전히 다른 세계가 아니라, 지금 배우는 것들의 자연스러운 확장입니다.
3. 실무적인 조언: "깊이"보다 "연결"에 집중하세요
이미지 분류 모델 하나를 만들어보셨다고 했죠? 이제는 그 모델의 정확도를 1% 높이는 공부보다, “그 모델을 쿠버네티스 위에 올렸을 때, 갑자기 사용자가 몰리면 어떻게 자동으로 확장(Autoscaling)할 것인가?” 혹은 “모델 업데이트 시 서비스 중단 없이 어떻게 배포할 것인가?” 를 고민해 보시기 바랍니다.
그리고 한 가지 더요. 지금 당장 포트폴리오 하나를 완성하는 게 자격증 하나 더 따는 것보다 훨씬 강력합니다. 이미지 분류 모델을 FastAPI로 감싸고, Docker로 패키징하고, K8s에 올려서 외부에서 실제로 호출되게 만들어보세요. GitHub에 올려두고 README를 잘 써두면, 면접장에서 말로 설명하는 것보다 열 배는 설득력 있어요.
질문자님은 ‘데이터를 아는 클라우드 엔지니어’ 라는 아주 희소하고 강력한 무기를 이미 손에 쥐고 계십니다.
이번 주 CKA 시험 꼭 합격하시길 응원하며, 시험 끝나면 머리도 식힐 겸 “K8s 기반의 AI 추론 서버 마스터 가이드” 주제를 다른 자료들도 가볍게 훑어보세요. 내가 배운 K8s가 AI 세상에서 어떻게 근육 역할을 하는지 금방 깨닫게 되실 겁니다.
충분히 잘해오셨습니다. 이제는 그 조각들을 ‘연결’ 할 시간입니다. 