spark streaming warning - block locks were not released by tid

□ 증상

▶ G/W N대 설치 후 데이터 수집 시 데이터를 잃어 버림 ▶ 시험 내용) 배치 시간 10초 동안 2개의 데이터가 들어 왔다면 1개 잃어버림 ▶ 로그 내용) block locks were not released by tid = ?

□ 상세내용

▶setLogLevel("ERROR"); 로 해놓으면 warning도 안떠서 확인이 안된다. 로그를 우선 다 찍는다. ▶데이터가 2개 들어왔는데 1개가 처리 안됨을 확인 - 1번데이터 받음 15:46:50,202 WARN  org.apache.spark.storage.RandomBlockReplicationPolicy         - Expecting 1 replicas with only 0 peer/s. 15:46:50,202 WARN  org.apache.spark.storage.BlockManager                         - Block input-0-1516949210000 replicated to only 0 peer(s) instead of 1 peers - 2번데이터 받음 15:46:56,002 WARN  org.apache.spark.storage.RandomBlockReplicationPolicy         - Expecting 1 replicas with only 0 peer/s. 15:46:56,002 WARN  org.apache.spark.storage.BlockManager                         - Block input-0-1516949215800 replicated to only 0 peer(s) instead of 1 peers   - 1번 데이터 처리  [{"device_mac":"00:04:F3:07:B1:97","time_zone":"Asia/Seoul","sensor_rssi":"-63","sensor_mac":"a52b9511c9cd45cf92f2f2a520aa1ed4","sensor_time":"2018-01-26T06:46:50.095Z"}, ~~] - 2번 데이터 처리 (실패) 15:47:00,031 WARN  org.apache.spark.executor.Executor                            - 1 block locks were not released by TID = 4:

□ 해결

▶처리하는 부분 partition 처리 ▶잘 처리된다.

□추가 내용

▶인터넷 jira 이슈 트래킹 해보니 2.2 버젼 이상 쓰라고 되어있었는데 안 해도 된다. 대충 확인 한 것으로 보장 안된 사항