저는 Databricks와 MLOps 모두 처음입니다. 현재 Databricks Asset Bundles for MLOps Stacks | Databricks on AWS 에 있는 Databricks Asset Bundles MLOps 튜토리얼을 따라하고 있습니다.
저의 클라우드 계정은 AWS를 사용하고 있습니다. 저는 Unity Catalog에서 파일 시스템(FS)과 모델 레지스트리(Model Registry)를 설정해달라고 요청했습니다. 또한 GitHub Actions를 사용한 CI/CD 설정도 요청했습니다. 모든 것이 잘 설정되어 있습니다.
저는 로컬 저장소(local repo)와 원격 GitHub 저장소(remote GitHub repo)를 모두 가지고 있습니다. 또한 Databricks 워크스페이스도 있습니다. 저의 파일 구조는 다음과 같습니다.
저의 Databricks 워크스페이스 파일 구조는 다음과 같습니다:
로컬 터미널에서 “databricks bundle validate -t staging” 명령어를 실행하면 아래와 같이 정상적으로 출력되는 것 같습니다.
하지만 이 명령어는 위 이미지에서 보여준 “mbs_db_mlops-bundle-cd-staging.yml” 파일에 포함된 CD 워크플로우의 일부이기도 합니다. 해당 Databricks 워크스페이스에 대해 GitHub Secrets도 설정해두었습니다.
그러나 “main” 브랜치를 원격 저장소에 푸시하면 GitHub Actions의 CD 워크플로우에서 “databricks bundle validate -t staging” 단계에서 실패합니다.
이 명령어는 로컬에서는 잘 작동하지만 GitHub Actions에서는 작동하지 않습니다. 이를 어떻게 해결할 수 있을까요? 저는 이 단계가 성공적으로 통과하길 원합니다.
