DevOps

[DevOps] Kafka graceful shutdown 구현하기

```pythonclass KafkaConsumer: def init(self, loop: asyncio.AbstractEventLoop, group_id: str): self.stop_event = asyncio.Event() for sig in (signal.SIGTERM, signal.SIGINT): loop.add_signal_handler(sig, self.stop_event.set)

[Docker] Docker Compose 명령어 정리

Docker Compose를 사용하면서 자주 찾게 되는 명령어를 상황별로 정리했다.

[AWS] Certificate Manager로 SSL 인증서 등록하기

인증서 생성

[Docker] Docker driver로 로컬 캐시 빌드하기

[DevOps] Kubernetes CPU 알뜰하게 사용하기

CPU throttling 방지

[Docker] 컨테이너 이미지 사이즈 줄이기

컨테이너 이미지를 줄여야겠다고 생각했을 때 가장 먼저 떠오른 방법은 alpine으로 base image를 바꾸는 것이었다. 그런데 직접 줄여보니 base image만 바꾸는 것으로는 부족했다.

[AWS] EC2에서 GPU 사용하기

gpu 사양을 물고있는 instance에서 gpu를 사용하려면 여러방법이있는데 우선은 아래와 같다

[GitHub Actions] 환경별 variables와 secrets 사용하기

[GitHub Actions] 하나의 workflow에서 여러 registry 사용하기

[DevOps] Grafana Loki에서 Pod·Container 로그 조회하기

[DevOps] Argo Workflow 좀비 프로세스 방지하기 (dumb-init)

root@update-stock-quote-recent-1708916220-base-template-3147334780:/usr/src/app# ps -efUID PID PPID C STIME TTY TIME CMDroot 1 0 0 11:58 ? 00:00:00 /var/run/argo/argoexec emissary --loglevel info --log-format text -- python...

[AWS] SQS 메시지 생명주기

[GitHub Actions] 파일을 수정하고 커밋·푸시하기

[k8s] secret을 생성하는 여러가지 방법

k8s에서 db비밀번호 등 감춰야할 환경변수를 사용해야하는경우에는 secret을 생성하여 import하여 쓰게된다 이러한 secret을 생성하는 방법에는 여러가지가 있는데 하나씩 살펴보자

[k8s] 완료된 or 에러난 파드 한번에 지우기

완료된 pod들이 completed, 혹은 error 상태로 남아있는데 더이상 볼일이 없어서 한번에 청소하고싶을때가있다. 그럴때는 아래의 명령어를 입력해주면 된다.

[AWS] AWS Storage Gateway란?

AWS Storage gateway에 대해 알아보자

[Argo Workflow] 다른 template을 참조하기

argo workflow 에서는 workflowtemplate 이라는 개념이 있어서, 워크플로우상 공통되는부분은 템플릿화하여 공용으로 가져다 쓰게 구성할 수 있다. 이걸 활용하는 방법을 자세히 알아보자

[Argo Events] webhook event source service에 ingress 걸기

webhook event source service에 ingress 를 걸어줘야 dns통해서 편하게 웹훅 호출이 가능하다. ingress랑 어떻게 연결하는지 알아보자.

[GitHub Actions] GitHub context 활용하기

GitHub Actions의 github context에는 워크플로를 실행시킨 이벤트, 저장소, ref, 실행 번호 등의 정보가 들어 있다. 전체 값은 toJSON(github)로 변환해 로그에서 확인할 수 있지만, github.token같은...

[GitHub Actions] 도커빌드 빠르게하기

단 두줄의 추가로 가능

[Argo Events] 이벤트소스에서 sqs메세지 가져오기

💡 aws sqs, kafka, aws sns, file, redis, webhook등 특정 이벤트소스로부터 이벤트가 발생했다면 거기서 메세지를 가져오고싶은게 인지상정. 이벤트소스가 aws sqs인 상황을 예시로, 어떤식으로 가져와서...

[Argo Events] webhook으로 각종 workflow실행하기

아무래도 이벤트 소스로 가장 많이 사용될 녀석이 webhook 이지 않을까 싶다 웹훅을 걸어놓으면 어디서든 http request한번 날리면 쉽게 workflow를 실행할수있으므로..

[Argo Events] Argo Events란?

💡 Argo events에 대한 개략적인 내용을 알아보자

[Argo Workflow] Workflow 작성하기

💡 Argo Workflow에서 다양한 형태의 workflow를 작성하는 방법을 알아보자

[Argo Workflow] Argo Workflow란?

💡 Argo Workflow에대해 araboza

[k8s] nginx reload

💡 k8s내의 nginx를 reload하는방법을 알아보자

[k8s] ingress timeout 설정

💡 ingress에서 connection timeout 설정을 어떻게할지알아보자

github action으로 springboot-maven프로젝트 CD 하기

지난 시리즈에 이어.. deploy까지 성공했다

github action으로 springboot-maven프로젝트 CI 하기

수동으로 도커빌드를 하고있어서 코드와 도커이미지와의 싱크도 안맞고..귀찮음도 없앨겸 요즘핫하다는 깃헙액션으로 CI를 하려고 시도함..

[AWS EC2] redis 설치

삽질후에 설치성공

[AWS EC2] AWS Let's Encrypt 인증서 갱신

💡 Let’s Encrypt 무료 인증서는 무료답게 3개월마다 인증서를 갱신해줘야한다^^갱신하는방법을 알아보자

도커(Docker)와 쿠버네티스(Kubernetes)

도커(Docker)와 쿠버네티스(Kubernetes) 3줄정리

[AWS EC2] springboot + nginx 사용시 ssl, dns 설정

일단 나는 docker로 8080 포트를 사용하는 springboot 앱을 띄운상황. (참고로 springboot app은 내장 tomcat을 was로 사용하여 뜬다) 이때 웹서버를 nginx로 사용한다고 하면, dns 나...

[k8s] Cannot determine if job needs to be started 뜨면서 크론잡이 실행되지 않을때

1분간격인 크론잡 배치를 하루정도 suspend = true 로 해놓고 꺼놧었는데, 이후 다시 suspend = false로 변경해도 크론잡이 정상적으로 실행이 안되는 현상이 나타남.

[k8s] 특정 키워드를 포함하는 pod들 로그 전부 파일로 떨구기

특정 키워드를 포함하는 pod들 로그 전부 파일로 떨구는 쉘스크립트. 쉘스크립트 잘 못쓰는데 야매로 필요한 명령어만 찾아서 짜놓으니까 쓸데가 많아서 블로그에 저장해놓음.

[k8s] pod를 특정 nod에 한정해서 올리기

pod를 특정 nod에 한정해서 올리기

[k8s] 자주쓰는 쿠버네티스 커맨드 모음

자주쓰는 쿠버네티스 커맨드 모음

airflow dag를 github저장소와 연결하여 sync맞추기 (k8s)

!! 주의) kubernetes 환경에서 helm chart로 airflow 깔았을때 설정입니다.

brew로 설치한 zookeeper, kafka 에러

brew로 설치한 zookeeper, kafka 에러OSX에서 Homebrew로 설치한 zookeeper, kafka 가 계속 정상적으로 올라오지 않고 에러가났다.

ssh authorization error

발단어느날부터 설치한 하둡의 namenode가 제대로 뜨질 않았다.

자주쓰는 Docker 명령어 정리

docker build이미지를 빌드한다

spinnaker 란?

spinnaker 란?넷플릭스에서 개발하여 오픈 소스화한 멀티 클라우드를 지원하는 CD(Continuous Delivery) Platform. 구글 클라우드, 아마존, 마이크로소프트등 대부분의 메이져 클라우드 지원 Kubernetes 나, OpenStack 과 같은...

Helm 이란?

Helm 이란? Kubernetes 의 Package Managing Tool Python의 pip, Node.js 의 npm 과 비슷한 역할 어플리케이션을 패키징하여 Kubernetes Cluster 에 배포할 수 있도록 도와줌....

Apache airflow란?

에어비앤비에서 개발한 워크플로우 스케줄링, 모니터링 플랫폼 현재 아파치의 탑레벨 프로젝트

sshd 기본 port변경

sshd 에 기본포트가 잘못잡혀서..ssh 외부ip 이렇게쳤을대 자꾸 22포트가 아닌 다른포트가 잡혀서 고생을했다.\ssh로 외부접속할때 접속시도하는 기본포트 설정은 아래에있다

[k8s] kubernetes resource template - yaml 파일 작성법

우리가 k8s 환경에 배포할때 작성하는 kubernetes resource 템플릿파일.yaml 을 작성하는 방법에 대해 알아보자.

Ubuntu에서 port forwarding하기

Ubuntu linux 에서 port forwarding하기

Linux SSH port 변경하기

ubuntu linux에서 ssh port를 변경해보자

window에 PostgreSQL 과 PostGIS 설치해보기

window에 PostgreSQL 과 PostGIS 설치해보자

WEB 서버 vs WAS 서버

WEB과 WAS가 무엇인지, 차이점은 무엇인지 알아보자

Kafka vs RabbitMQ

대용량 스트리밍 데이터 처리 중요성이 대두되면서 메세지플랫폼 역할이 커졌다. 그중에서 최근 가장 많이 화두에 오르는 Kafka와 RabbitMQ를 비교해보자.

Kafka 기본개념과 Kafka 속성들 정리

Kafka의 기본개념과 속성들을 알아보자

index란? 효율적인 index는 무엇인가?

database에서 사용되는 index에 대해서 알아보자.

crontab 설정하기

crontab 명령어crontab -e 크론탭 파일 수정, 또는 기 크론탭 파일이 없으면 신규 생성 crontab -l 크론탭에 기입된 크론 잡들 리스트 확인 crontab -r 크론탭...

Kafka 란?

kafka란?linkedin에서 개발된 분산 메세징 시스템.

kafka 와 기존 메세징 시스템과의 차이점

kafka 와 기존 메세징 시스템과의 차이점 대용량의 실시간 로그처리에 특화되어 기존 범용 메세징 시스템 대비 TPS 우수. 단, 범용 메세징 시스템에서 제공하는 다양한 기능...

CentOS Grafana 실행/종료하기

CentOS Grafana 실행/종료하기sudo service grafana-server startsudo service grafana-server stop위 명령어로 실행/종료하면 된다.

kibana로 elasticsearch 데이터 시각화하기

kibana로 elasitcsearch에 import한 데이터 시각화하기

grafana로 influxDB 데이터 시각화하기

grafana로 influxDB에 넣은 데이터들을 시각화할 수 있다.

ELK stack 이해하기

ELK(Log stash + Elastic Search + Kibana) 이해하기

elasticsearch + kibana에 csv 데이터 넣기

ELK(elasticsearch + kibana) 에 csv 데이터 넣기.찾아보니 kibana 내에 있는 File Data Visualizer 라는 기능으로 매우 쉽게 구현이 가능하다.influxDB + grafana의 경우에는 telegraf를 이용하거나...

CentOS7에 ELK stack 설치하기

CentOS7에 ELK(logstash + elastaic search + kibana)를 설치해보자

windows에서 telegraf 사용하기

windows환경에서 telegraf 설치하고 사용해보자

CentOS7 고정아이피로 바꾸기

CentOS7 고정아이피로 바꾸기

Window 환경에서 kafka 구축하기

window환경에서 kafak 구축하기

Linux Profile 설정하기

linux user가 사용하는 환경변수 및 단축키 등을 profile을 수정하여 적용할 수 있다.

influxDB windows에 설치하기

influxDB를 window에 다운받고 설치해본다.

influxDB CentOS에 설치하기

influxDB를 CentOS에 다운받고 설치해본다.

Grafana 설치하기

Grafana를 Window/CentOS에 다운받고 설치해본다

방화벽이 막혀있지 않은데 yum이 실행이 안되는 경우

문제점 및 에러메세지Cent os에서 방화벽이 막혀있지 않은데 yum이 실행이 안되는경우 [Errno 12] Timeout on http://10.6.12.28/centos-openstack-ocata/repodata/repomd.xml: 등의 에러 발생

svn CHECKOUT can only be performed on a version resource 에러

svn commit 에러Svn commit 시도 시 아래와 같은 에러 메시지가 뜸 svn: E200007: CHECKOUT can only be performed on a version resource

Jeus 배포시 deploy application failed에러

Jeus 배포시 에러

JEUS 클러스터 설정/배포

JEUS 클러스터 설정/배포방법