使用Spark DF的数据，Sklearn Mean_absolute_error在相同数据上始终给出不同的值。我该如何解决？

Question

我想计算Spark DataFrame的平均平均误差（MAE）到列的平均误差（MAE），但是我无法从pyspark.mllib.mllib.evaluation import intimpry recressionmetrics 使用，因为我的并发群很高。 因此，我使用Sklearn并将其转换为Pandas。

这是我的代码：

mean_absolute_error(test.select("qty").toPandas(),test.select("pred").toPandas()) 
mean_absolute_percentage_error(test.select("qty").toPandas(),test.select("pred").toPandas())

MAE和MAPE每次运行时都会给出不同的值。 什么是原因？ 我该如何解决？

顺便说一句：我正在使用databricks，我无法共享数据

Answer 1

运行.topandas（）整个Spark DataFrame作为Pandas DataFrame移动到驱动程序节点。
这是一个非常宽敞的操作，也可以利用驱动程序的内存，因此请小心。
另外，不能保证熊猫DF中的行的顺序。

我认为发生的事情是您运行.topandas（） 4次，每次以不同的顺序获取数据框。
这会导致结果变化。

如果您必须使用pandas，建议您进行tmp = test.Select（'qty'，'pred'）。topandas（）一次，然后将其子集中到MAE和MAPE功能。