Data

zeppelin 과 spark 연동시 삽질 에러 모음

애증의 zeppelin.. 이쁘게 시각화해주는데 spark랑 찰떡궁합이어야하는놈이 왜이리 삐걱거리는지 고생을 많이 시켰다. 삽질내용 정리해보았다.

READ ↗

Using Random Forest Classifiers to Detect Duplicate Gazetteer Records (IEEE 2012)

Using Random Forest Classifiers to Detect Duplicate Gazetteer RecordsIEEE에 2012년 발표된 논문.중복검출에 Random forest 사용함.스페인어?로 쓰여있어서 abstract민 겨우봤고..result 표만 건짐;;

READ ↗

Toponym matching through deep neural networks

Toponym matching through deep neural networksInternational Journal of Geographical Information Science 2017 게재된 논문.

READ ↗

Detecting Nearly Duplicated Records in Location Datasets

Detecting Nearly Duplicated Records in Location Datasets지리 데이터셋에서 중복레코드 검출하기ACM 2010에 게재됨

READ ↗

data2020.03.17

zeppelin 설치하기

구축한 hadoop ecosystem에 zeppelin을 추가해보자.zeppelin은 hadoop에 밀어넣은 데이터를 spark로 분석하고 시각화해주는 역할을 할 것이다.

READ ↗

data2020.03.17

sqoop 설치하기

sqoop은 RDBMS to HADOOP 혹은 HADOOP to RDBMS를 쉽게 해주는 어플리케이션이다.이러한 sqoop을 어떻게 설치하고 어떻게 실행하는지 알아보자.

READ ↗

data2020.03.17

show and tell

Show and Tell: A Neural Image Caption Generator구글에서 2015 CVPR에서 발표한 논문. 말그대로 SHOW AND TELL(그림을 보고 뭔그림인지 말함).Image Captioning에 대한 논문이다.그림을 CNN에 넣어서...

READ ↗

data2020.01.27

spark 클러스터링 모드로 분산처리하기

여러 서버에 spark 설치하고 데이터를 분석하려면 spark를 클러스터로 묶어줘야한다.아래와 같이 각 서버의 spark 환경설정파일을 수정하면 여러대의 spark를 cluster로 묶을 수 있다.(반드시 묶고자하는 모든 서버의...

READ ↗

data2019.12.15

Flying Large Constellations using Automation and Big Data (2016)

Flying Large Constellations using Automation and Big Data (2016)빅데이터와 자동화를 이용한 대규모 인공위성그룹(satellite constellation) 운영

READ ↗

data2019.12.15

CHARTing the Future – An Offline Data Analysis & Reporting Toolkit to support Automated Decision-making in Flight Operations (2018)

CHARTing the Future – An Offline Data Analysis & Reporting Toolkit to support Automated Decision-making in Flight Operations (2018)CHARTing the Future - offline data...

READ ↗

data2019.12.15

빅데이터분석, 통계학

빅데이터분석을 하면 통계학이 필수적으로 등장한다.그 이유는 빅데이터 분석의 궁극적인 이유와 연관된다.빅데이터 분석은 나에게 주어진 데이터로 현재는 알 수 없는 무언가를 예측을 하고자한다.빅데이터가 아무리 커다란...

READ ↗

text similarity 비교를 위한 여러 기법

similarity 비교를 위한 여러가지 기법이 있다. 하나씩 알아보자

READ ↗

Onboard Observation Task Planning for an Autonomous Earth Observation Satellite Using Long Short-Term Memory

Onboard Observation Task Planning for an Autonomous Earth Observation Satellite Using Long Short-Term MemoryLSTM을 이용한 지구관측위성의 Onboard Observation Task planning.

READ ↗

Applications of Deep Learning Neural Networks to Satellite Telemetry Monitoring

Applications of Deep Learning Neural Networks to Satellite Telemetry Monitoring위성 원격측정 모니터링을 위한 심층학습 신경망 적용Corey O’Meara, Leonard Schlag, Martin Wickler Deutsches Zentrum für...

READ ↗

Big data based operations for space systems

READ ↗

빅데이터 분석 플랫폼 요약

빅데이터 분석 플랫폼으로 일컬어지는 플랫폼은 매우 여러개가있다. 그리고 무척 많은 카테고리로 나뉘어진다. 수집, 저장, 분석, 시각화..이게 분류도 많고 종류도 많고 자꾸 헷갈려서 대략적으로 각...

READ ↗

Using Twitter to Predict When Vulnerabilities will be Exploited

Using Twitter to Predict When Vulnerabilities will be ExploitedTwitter를 사용한 취약성 공격 시기 예측

READ ↗

Plus Size Models and Body Positivity - Focusing on Online Discourses around #Plussizemodel

Plus Size Models and Body Positivity : Focusing on Online Discourses around #Plussizemodel저자 Sunyang park, So Jung Yun

READ ↗

[ML] Perceptron

linear discriminant functions for classification (분류를 위한 선형 판별식)g(x) = w0 + d∑wixiW0=biaswi = i번째 weight vector(가중치 벡터)xi = i번쩨 attribute (특성벡터)벡터 x =...

READ ↗

[ML] Linear Regression Model

함수근사와 관련된 모델에 대하여 통계적관점, 학습 behavior 관점으로 알아보자.

READ ↗

[ML] Introduction

Information Processing System정보처리시스템. 한마디로 컴퓨터.

READ ↗

[ML] Decision Tree Learning(DTL)

Decision Tree representation Decision Tree learning은 approximating(근사치)를 구하는 방법이다. 각 value의 target function은 decision tree로 표현된다. Decision Tree는 if-then rule로 쉽게 표현할수있다. Decision Tree에서...

READ ↗

[ML] Concept Learning

Concept 이란?some subset of objects or events defined over a large set.큰 집합에서 정의되는 작은 객체나 이벤트.ex) Animal 중 Bird 라는 concept.

READ ↗

HDFS 에서 특정 datanode만 start하는법

hadoop에서 특정 datanode만 다운되는 경우가있다.그럴때 특정 datanode만 start하려면 sbin폴더로 가서 아래 명령어를 사용한다.

READ ↗

자주쓰이는 hdfs 명령어 정리

하둡에서 자주 사용하는 명령어는 다음과 같다.

READ ↗

python spark wordcount 해보기

READ ↗

standalone으로 hadoop 설치시 설정값

standalone으로 hadoop 설치시 설정값서버 1대에 namenode, datanode 모두 한대씩만 standalone으로 hadoop 설치할때 config 모음

READ ↗

Real-time Event Detection on Social Data Streams (2019.07)

Real-time Event Detection on Social Data Streams (2019.07)Social data stream에서 실시간으로 이벤트 감지하기

READ ↗