[k8s] secret을 생성하는 여러가지 방법

일단 나는 docker로 8080 포트를 사용하는 springboot 앱을 띄운상황. (참고로 springboot app은 내장 tomcat을 was로 사용하여 뜬다) 이때 웹서버를 nginx로 사용한다고 하면, dns 나 ssl을 연결할때 어떤 설정들을 해야할지 정리했다.

[k8s] Cannot determine if job needs to be started 뜨면서 크론잡이 실행되지 않을때

11 Apr 2021 in Programming on DevOps

1분간격인 크론잡 배치를 하루정도 suspend = true 로 해놓고 꺼놧었는데, 이후 다시 suspend = false로 변경해도 크론잡이 정상적으로 실행이 안되는 현상이 나타남.

[k8s] 특정 키워드를 포함하는 pod들 로그 전부 파일로 떨구기

23 Aug 2020 in Programming on DevOps

특정 키워드를 포함하는 pod들 로그 전부 파일로 떨구는 쉘스크립트.
쉘스크립트 잘 못쓰는데 야매로 필요한 명령어만 찾아서 짜놓으니까 쓸데가 많아서 블로그에 저장해놓음.

[k8s] pod를 특정 nod에 한정해서 올리기

12 Jul 2020 in Programming on DevOps

pod를 특정 nod에 한정해서 올리기

[k8s] 자주쓰는 쿠버네티스 커맨드 모음

12 Jul 2020 in Programming on DevOps

자주쓰는 쿠버네티스 커맨드 모음

airflow dag를 github저장소와 연결하여 sync맞추기 (k8s)

04 Jul 2020 in Programming on DevOps

!! 주의) kubernetes 환경에서 helm chart로 airflow 깔았을때 설정입니다.

brew로 설치한 zookeeper, kafka 에러

26 May 2020 in Programming on DevOps

brew로 설치한 zookeeper, kafka 에러

OSX에서 Homebrew로 설치한 zookeeper, kafka 가 계속 정상적으로 올라오지 않고 에러가났다.

ssh authorization error

07 Apr 2020 in Programming on DevOps

발단

어느날부터 설치한 하둡의 namenode가 제대로 뜨질 않았다.

자주쓰는 Docker 명령어 정리

17 Mar 2020 in Programming on DevOps

docker build

이미지를 빌드한다

spinnaker 란?

12 Jan 2020 in Programming on DevOps

spinnaker 란?

넷플릭스에서 개발하여 오픈 소스화한 멀티 클라우드를 지원하는 CD(Continuous Delivery) Platform.
구글 클라우드, 아마존, 마이크로소프트등 대부분의 메이져 클라우드 지원
Kubernetes 나, OpenStack 과 같은 오픈소스 기반의 클라우드 또는 컨테이너 플랫폼 지원

Helm 이란?

12 Jan 2020 in Programming on DevOps

Helm 이란?

Kubernetes 의 Package Managing Tool
Python의 pip, Node.js 의 npm 과 비슷한 역할
어플리케이션을 패키징하여 Kubernetes Cluster 에 배포할 수 있도록 도와줌.
chart라는 Packaging Format 을 사용Helm 구조 공식문서

Apache airflow란?

12 Jan 2020 in Programming on DevOps

에어비앤비에서 개발한 워크플로우 스케줄링, 모니터링 플랫폼
현재 아파치의 탑레벨 프로젝트

sshd 기본 port변경

12 Jan 2020 in Programming on DevOps

sshd 에 기본포트가 잘못잡혀서.. ssh 외부ip 이렇게쳤을대 자꾸 22포트가 아닌 다른포트가 잡혀서 고생을했다.
ssh로 외부접속할때 접속시도하는 기본포트 설정은 아래에있다

[k8s] kubernetes resource template - yaml 파일 작성법

12 Jan 2020 in Programming on DevOps

우리가 k8s 환경에 배포할때 작성하는 kubernetes resource 템플릿파일.yaml 을 작성하는 방법에 대해 알아보자.

Ubuntu에서 port forwarding하기

19 Nov 2019 in Programming on DevOps

Ubuntu linux 에서 port forwarding하기

Linux SSH port 변경하기

19 Nov 2019 in Programming on DevOps

ubuntu linux에서 ssh port를 변경해보자

window에 PostgreSQL 과 PostGIS 설치해보기

03 Nov 2019 in Programming on DevOps

window에 PostgreSQL 과 PostGIS 설치해보자

WEB 서버 vs WAS 서버

03 Nov 2019 in Programming on DevOps

WEB과 WAS가 무엇인지, 차이점은 무엇인지 알아보자

Kafka vs RabbitMQ

03 Nov 2019 in Programming on DevOps

대용량 스트리밍 데이터 처리 중요성이 대두되면서 메세지플랫폼 역할이 커졌다. 그중에서 최근 가장 많이 화두에 오르는 Kafka와 RabbitMQ를 비교해보자.

Kafka 기본개념과 Kafka 속성들 정리

03 Nov 2019 in Programming on DevOps

Kafka의 기본개념과 속성들을 알아보자

index란? 효율적인 index는 무엇인가?

03 Nov 2019 in Programming on DevOps

database에서 사용되는 index에 대해서 알아보자.

crontab 설정하기

03 Nov 2019 in Programming on DevOps

crontab 명령어

crontab -e 크론탭 파일 수정, 또는 기 크론탭 파일이 없으면 신규 생성
crontab -l 크론탭에 기입된 크론 잡들 리스트 확인
crontab -r 크론탭 삭제
crontab -v 크론탭 최근 수정날짜 표기 (해당 명령어는 일부 시스템에서만 지원됩니다)

Kafka 란?

07 Sep 2019 in Programming on DevOps

kafka란?

linkedin에서 개발된 분산 메세징 시스템.

kafka 와 기존 메세징 시스템과의 차이점

07 Sep 2019 in Programming on DevOps

kafka 와 기존 메세징 시스템과의 차이점

대용량의 실시간 로그처리에 특화되어 기존 범용 메세징 시스템 대비 TPS 우수.
단, 범용 메세징 시스템에서 제공하는 다양한 기능 X
AMQP 프로토콜, JMS API를 사용하지 않고 TCP기반 프로토콜을 사용하여 프로토콜에 의한 오버헤드 감소.
producer가 broker에게 다수의 메세지를 전송할때 batch형태로 한번에 전달할 수 있다.
메세지를 메모리저장하는 기존 메세지큐와 달리 메시지를 파일 시스템에 저장한다. 이때문에 메세지를 많이 쌓아두어도 성능이크게 감소하지 않는다. 때문에 실시간 처리뿐 아니라 batch작업을 위해 데이터를 쌓아놓는 용도로도 사용할 수 있다.
기존의 메시징 시스템이 broker가 consumer에게 메세지를 push해주는 방식이라면 kafka는 consumer가 broker로부터 직접 메세지를 가지고 가는 pull 방식으로 동작한다. 따라서 consumer는 자신의 처리능력만큼의 메시지만 broker로부터 가져오기때문에 최적의 성능을 낼 수 있다.
그 만큼 broker의 메세지 관리에 대한 부담이 경감되었다.
메세지를 쌓아두었다가 주기적으로 처리하는 batch consumer 구현이 가능.

CentOS Grafana 실행/종료하기

07 Sep 2019 in Programming on DevOps

CentOS Grafana 실행/종료하기

sudo service grafana-server start
sudo service grafana-server stop

위 명령어로 실행/종료하면 된다.

kibana로 elasticsearch 데이터 시각화하기

17 Aug 2019 in Programming on DevOps

kibana로 elasitcsearch에 import한 데이터 시각화하기

grafana로 influxDB 데이터 시각화하기

17 Aug 2019 in Programming on DevOps

grafana로 influxDB에 넣은 데이터들을 시각화할 수 있다.

ELK stack 이해하기

17 Aug 2019 in Programming on DevOps

ELK(Log stash + Elastic Search + Kibana) 이해하기

elasticsearch + kibana에 csv 데이터 넣기

17 Aug 2019 in Programming on DevOps

ELK(elasticsearch + kibana) 에 csv 데이터 넣기. 찾아보니 kibana 내에 있는 File Data Visualizer 라는 기능으로 매우 쉽게 구현이 가능하다. influxDB + grafana의 경우에는 telegraf를 이용하거나 python으로 프로그램을 구현하여 csv파일을 읽어와 influxDB에 데이터를 집어넣는 방식으로 했는데 이보다 더 직관적이고 간편한듯. 근데 아주 치명적인 단점이있다. 파일 크기제한이 있다. 100MB가 넘는 파일은 import 하지 못함.