RDD转换操作算子 --- 集合操作（union、intersection、subtract）

RDD转换操作算子 --- 集合操作（union、intersection、subtract）

/* * union 表示并集，与数学概念里的不同处在于，它可以重复，也就是两个集合的所有元素 */ @Test def unionTest: Unit ={ val rdd1 = sc.parallelize(Seq(1,2,3,4,5)) val rdd2 = sc.parallelize(Seq(3,4,5,6,7)) rdd1.union(rdd2) .collect() .foreach(println(_)) // 1 2 3 4 5 3 4 5 6 7 } /* * intersection 表示交集 */ @Test def intersectionTest: Unit ={ val rdd1 = sc.parallelize(Seq(1,2,3,4,5)) val rdd2 = sc.parallelize(Seq(3,4,5,6,7)) rdd1.intersection(rdd2) .collect() .foreach(println(_)) // 3 4 5 } /* * subtract 表示差集, a 差 b --- a中独有的元素 ；b 差 a --- b 中独有的元素 */ @Test def subtractTest: Unit ={ val rdd1 = sc.parallelize(Seq(1,2,3,4,5)) val rdd2 = sc.parallelize(Seq(3,4,5,6,7)) rdd1.subtract(rdd2) .collect() .foreach(println(_)) // 1 2 }

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。