빅데이터
Elasticsaerch + SparkStreaming
iamksu
2018. 3. 14. 17:25
□ 내용
▶ 실시간 스트리밍 데이터를 Spark를 이용하여 데이터를 Elasticsearch에 저장
|
□ 설치
▶Elasticsearch 설치 확인
|
□ Data
▶굴러 다니는 블루투스 장비 데이터 이용 [ {"timestamp":"2018-03-14T08:04:14Z","type":"iBeacon","mac":"D961--","ibeaconUuid":"C800A~~}, {"timestamp":"2018-03-14T08:04:14Z","type":"iBeacon","mac":"E85D--","ibeaconUuid":"A52B9~~}, ... ... ... ... {"timestamp":"2018-03-14T08:04:24Z","type":"iBeacon","mac":"F2EC--","ibeaconUuid":"A52B95~~} ]
|
□ 처리
▶ 설정 ▶ 스트리밍 연결 후 Array 데이터 분리
▶ Mac과 UUID만 뽑아서 ES에 저장
|
□ 결과 확인
▶localhost:9200/test 생성 확인 ▶test/spark에 mac와 UUID가 저장됨
|
