[MLOps] ML모델 서빙하기 (Model Serving in MLOps)
in Programming on MLOps
💡 ML model을 ‘잘’ 서빙하기 위해 어떤 최적화 전략들이 있는지, 그리고 어떤 프레임워크들이 어떤 전략을 사용하는지 알아보자
in Programming on MLOps
💡 ML model을 ‘잘’ 서빙하기 위해 어떤 최적화 전략들이 있는지, 그리고 어떤 프레임워크들이 어떤 전략을 사용하는지 알아보자
in Programming on DevOps
k8s에서 db비밀번호 등 감춰야할 환경변수를 사용해야하는경우에는 secret을 생성하여 import하여 쓰게된다
이러한 secret을 생성하는 방법에는 여러가지가 있는데 하나씩 살펴보자
in Programming on DevOps
완료된 pod들이 completed, 혹은 error 상태로 남아있는데 더이상 볼일이 없어서 한번에 청소하고싶을때가있다. 그럴때는 아래의 명령어를 입력해주면 된다.
in Programming on DevOps
argo workflow 에서는 workflowtemplate
이라는 개념이 있어서, 워크플로우상 공통되는부분은 템플릿화하여 공용으로 가져다 쓰게 구성할 수 있다. 이걸 활용하는 방법을 자세히 알아보자
in Programming on DevOps
webhook event source service에 ingress 를 걸어줘야 dns통해서 편하게 웹훅 호출이 가능하다.
ingress랑 어떻게 연결하는지 알아보자.
in Programming on DevOps
단 두줄의 추가로 가능
in Programming on DevOps
💡 aws sqs, kafka, aws sns, file, redis, webhook등 특정 이벤트소스로부터 이벤트가 발생했다면 거기서 메세지를 가져오고싶은게 인지상정. 이벤트소스가 aws sqs인 상황을 예시로, 어떤식으로 가져와서 활용하는지 알아보자
in Programming on DevOps
아무래도 이벤트 소스로 가장 많이 사용될 녀석이 webhook 이지 않을까 싶다
웹훅을 걸어놓으면 어디서든 http request한번 날리면 쉽게 workflow를 실행할수있으므로..