in Data Science on Hadoop
CREATE EXTERNAL TABLE test.eaxmple_table
(date string, data string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
LOCATION '/test/db/eaxmple_table'
TBLPROPERTIES ('skip.header.line.count'='1');
in Data Science on Hadoop
구축한 hadoop ecosystem에 zeppelin을 추가해보자.
zeppelin은 hadoop에 밀어넣은 데이터를 spark로 분석하고 시각화해주는 역할을 할 것이다.
in Data Science on Hadoop
sqoop은 RDBMS to HADOOP 혹은 HADOOP to RDBMS를 쉽게 해주는 어플리케이션이다.
이러한 sqoop을 어떻게 설치하고 어떻게 실행하는지 알아보자.
in Data Science on Hadoop
hadoop에서 특정 datanode만 다운되는 경우가있다.
그럴때 특정 datanode만 start하려면 sbin폴더로 가서 아래 명령어를 사용한다.
in Data Science on Hadoop
하둡에서 자주 사용하는 명령어는 다음과 같다.
in Data Science on Hadoop
서버 1대에 namenode, datanode 모두 한대씩만 standalone으로 hadoop 설치할때 config 모음
in Data Science on Hadoop
HDFS에서 Block이 어떻게 읽고 쓰여지고 이동하는지, Block의 상태변경에 대해 알아보자.
in Data Science on Hadoop
HDFS 의 구성요소를 알아보자
in Data Science on Hadoop
Hadoop & Spark 설치
사고뭉치