spark core 有没有类似连表查询的操作

Question

问题是这样的

 val list= List((1,2),(3,5),(6,9))
 val list2= List((3,4),(5,9),(9,12))

这两个list我写入rdd，然后想让list每一个元素的value查找list2的key进行合并，像这样

  （3,5）（5,9）=> (5,9)
  请问如何可以做到
  
  
  
 

解决方法:

  val list= List((1,2),(3,5),(6,9))
    val list2= List((5,4),(5,9),(9,12))
    val spark = new SparkContext(conf)
    val rdd1 = spark.parallelize(list).map(x=>(x._2,x._1))
    val rdd2 = spark.parallelize(list2)
    val union3=rdd1.join(rdd2).values
    union3.collect().foreach(x=>println(x+" "))

Answer 1

把list的key value调换然后和list2进行join就可以了
如果用SparkSQL更简单~