TAGGED NOTES

Data Engineering

데이터 수집, 저장, 처리와 데이터 시스템 관련 포스트

28 POSTS

BROWSE THE ARCHIVE

Data Topics

VIEW ALL TOPICS ↗

ML11 Data Engineering28 Data Science26

[데이터 엔지니어링 디자인 패턴] 08. 데이터 스토리지

데이터 엔지니어링 디자인 패턴 시리즈의 글입니다.

[데이터 엔지니어링 디자인 패턴] 09. 데이터 품질

데이터 엔지니어링 디자인 패턴 시리즈의 글입니다.

[데이터 엔지니어링 디자인 패턴] 07. 데이터 보안

데이터 엔지니어링 디자인 패턴 시리즈의 글입니다.

[데이터 엔지니어링 디자인 패턴] 06. 데이터 흐름

데이터 엔지니어링 디자인 패턴 시리즈의 글입니다.

[데이터 엔지니어링 디자인 패턴] 05. 데이터 가치

데이터 엔지니어링 디자인 패턴 시리즈의 글입니다.

[데이터 엔지니어링 디자인 패턴] 04. 멱등성

데이터 엔지니어링 디자인 패턴 시리즈의 글입니다.

[데이터 엔지니어링 디자인 패턴] 03. 오류 관리

데이터 엔지니어링 디자인 패턴 시리즈의 글입니다.

[데이터 엔지니어링 디자인 패턴] 02. 데이터 수집

데이터 엔지니어링 디자인 패턴 시리즈의 글입니다.

[데이터 중심 애플리케이션 설계] 12. 데이터 시스템의 미래

데이터 중심 애플리케이션 설계 시리즈의 글입니다.

[데이터 중심 애플리케이션 설계] 11. 스트림 처리

데이터 중심 애플리케이션 설계 시리즈의 글입니다.

[데이터 중심 애플리케이션 설계] 10. 일괄 처리

데이터 중심 애플리케이션 설계 시리즈의 글입니다.

[데이터 중심 애플리케이션 설계] 08. 분산 시스템의 골칫거리

데이터 중심 애플리케이션 설계 시리즈의 글입니다.

[데이터 중심 애플리케이션 설계] 07. 트랜잭션

데이터 중심 애플리케이션 설계 시리즈의 글입니다.

[데이터 중심 애플리케이션 설계] 05. 복제

데이터 중심 애플리케이션 설계 시리즈의 글입니다.

[데이터 중심 애플리케이션 설계] 03. 저장소와 검색

데이터 중심 애플리케이션 설계 시리즈의 글입니다.

유용한 hive query 모음

임시테이블 (raw data 저장)테이블 생성CREATE EXTERNAL TABLE test.eaxmple_table(date string, data string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ','LINES TERMINATED BY '\n'LOCATION '/test/db/eaxmple_table'TBLPROPERTIES ('skip.header.line.count'='1');

zeppelin 과 spark 연동시 삽질 에러 모음

애증의 zeppelin.. 이쁘게 시각화해주는데 spark랑 찰떡궁합이어야하는놈이 왜이리 삐걱거리는지 고생을 많이 시켰다. 삽질내용 정리해보았다.

zeppelin 설치하기

구축한 hadoop ecosystem에 zeppelin을 추가해보자.zeppelin은 hadoop에 밀어넣은 데이터를 spark로 분석하고 시각화해주는 역할을 할 것이다.

sqoop 설치하기

sqoop은 RDBMS to HADOOP 혹은 HADOOP to RDBMS를 쉽게 해주는 어플리케이션이다.이러한 sqoop을 어떻게 설치하고 어떻게 실행하는지 알아보자.

spark 클러스터링 모드로 분산처리하기

여러 서버에 spark 설치하고 데이터를 분석하려면 spark를 클러스터로 묶어줘야한다.아래와 같이 각 서버의 spark 환경설정파일을 수정하면 여러대의 spark를 cluster로 묶을 수 있다.(반드시 묶고자하는 모든 서버의...

빅데이터 분석 플랫폼 요약

빅데이터 분석 플랫폼으로 일컬어지는 플랫폼은 매우 여러개가있다. 그리고 무척 많은 카테고리로 나뉘어진다. 수집, 저장, 분석, 시각화..이게 분류도 많고 종류도 많고 자꾸 헷갈려서 대략적으로 각...

HDFS 에서 특정 datanode만 start하는법

hadoop에서 특정 datanode만 다운되는 경우가있다.그럴때 특정 datanode만 start하려면 sbin폴더로 가서 아래 명령어를 사용한다.

자주쓰이는 hdfs 명령어 정리

하둡에서 자주 사용하는 명령어는 다음과 같다.

python spark wordcount 해보기

python spark wordcount 해보기

standalone으로 hadoop 설치시 설정값

standalone으로 hadoop 설치시 설정값서버 1대에 namenode, datanode 모두 한대씩만 standalone으로 hadoop 설치할때 config 모음

HDFS Block read/write

HDFS에서 Block이 어떻게 읽고 쓰여지고 이동하는지, Block의 상태변경에 대해 알아보자.

HDFS의 구성요소

HDFS 의 구성요소를 알아보자

Hadoop & Spark 설치하기

Hadoop & Spark 설치