1. 새로운 데이터가 올라오면 실험까지 자동화 하는 라인
2. 배포를 위한 모델 학습과 모델의 배포 까지 자동화 하는 라인

• DVC
• katib experiment 를 위한 image
• argo workflow
• argo event
• jenkins
• slack API

• mlflow
• seldon core
• argo cd
• prometheus
• grafana

실제로 두 자동화 라인을 제대로 빌드하고 라인들이 제대로 실행되는지 체크

1. 새로운 데이터가 올라오면 실험까지 자동화 하는 라인

   • 데이터 버전 관리를 git과 같이 하기 위해서 DVC를 이용하고 remote storage로 amazon s3를 사용한다.
   • 바뀐 데이터를 push하면 github actions를 이용하여 바뀐 데이터에 대한 학습을 하는 docker image를 build, push하게 한다. 그리고 데이터가 업데이트되고 해당 내용으로 katib 실험을 진행할 수 있음을 알리기 위해서 PR을 생성한다.
   • 업데이트된 학습의 PR이 merge되면 github webhook과 argo events를 이용하여 katib experiment을 실행하고 해당 실험이 끝나면 slack API를 이용하여 알람을 보내는 workflow를 실행시킨다.

2. 배포를 위한 모델 학습과 모델의 배포 까지 자동화 하는 라인

   • 실험에서 최적의 파라미터를 선택하여 해당 모델을 mlflow server에 업로드한다. 이때 모델 저장소로 amazon s3를 사용합니다.
   • 이후 바뀐 모델에 대한 seldon core manifest 파일을 github에 push하게 합니다.
   • argo CD는 해당 github repository와 branch 감시하고 내용이 업데이트 되면, 해당 manifest 파일을 pull하여 모델 API의 배포가 지속적으로 이루어지도록 배포를 업데이트 한다.
   • prometheus와 grafana로 해당 모델 서버와 모델의 metric을 측정한다.