[SPARK] 1.6 -> 2.1 foreachRDD, flatMap 사용법 변화

Spark 1.6.4

▶ Scala 2.10.x

JavaDStream<String> B = A.flatMap(new FlatMapFunction<String, String>() {                 public Iterable<String> call(String line) {                                         List<String> data = new ArrayList<String>();                                          return data;                 }  }); B.foreachRDD(new Function<JavaRDD<String>, Void>() {                               public Void call(JavaRDD<String> data) throws Exception {                     //Action                     return null;                 }   });

Spark 2.1.0

▶ Scala 2.11.x 

JavaDStream<String> B = A.flatMap(new FlatMapFunction<String, String>() {                 public Iterator<String> call(String line) {                                              List<String> data = new ArrayList<String>();                                          return data.iterator();                 }   }); A.foreachRDD(new VoidFunction<JavaRDD<String>>() {                                 @Override                 public void call(JavaRDD<String> arg0) throws Exception {                                      }   });