Spark命令行中正常执行的代码,用Maven编译报错

发布于 2022-09-03 01:14:49 字数 819 浏览 14 评论 0

Hi,all
我在idea中编写Spark程序,使用Maven编译会报错,但是将这段报错的代码贴到Spark-shell中能正常执行。这个问题很奇怪,求各位大神帮忙看下!

clipboard.png
spark-shell中执行效果

clipboard.png
使用Maven编译的报错结果信息

代码如下:


    case class ontime_table_schema(ratio: Double, score: Int)

    //准时率配置表
    val ontime_table_arr = Array(
      Array(0.00, 0),
      Array(0.90, 80),
      Array(0.97, 120)
    )

    //生成准时率DataFrame
    val ontime_table_rdd = sc.parallelize(ontime_table_arr)

    val ontime_table_df = ontime_table_rdd.map(p => ontime_table_schema(p(0), p(1).toInt)).toDF()

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

且行且努力 2022-09-10 01:14:49

toDF不是RDD类型的方法,在shell中能用,说明是经过隐试转换的。
spark-shell中你可以看下当前scope下的隐试转换:

scala>:implicits -v

找到隐试转换之后,import到你的代码里应该就可以了

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文