배운 것을 기록,
생각을 연결

[AWS] Certificate Manager로 SSL 인증서 등록하기

인증서 생성

[Docker] Docker driver로 로컬 캐시 빌드하기

[MLOps] ollama vs vLLM

[MLOps] LLM 서빙 최적화 기법들

LLM 서빙 최적화 자료를 보다 보면 FlashAttention, PagedAttention, Continuous Batching 같은 용어가 계속 나온다. 처음에는 전부 GPU를 빠르게 쓰기 위한 비슷한 기법처럼 보였는데, 다시 정리해보니...