将文件另存为 csv 后 UDF 数据值发生变化

Question

我使用 UDF 生成了一个随机 userId ，并将其分配给 df.show() 之后使用 withColumn 的表

，这是表：

userID	name
bdjq7vn3	Jhon
8br64v24	Ronan

但是，当我将新创建的 df 作为 csv 文件写入本地计算机时，用户 ID 为 changeD

本地 csv 表：

userID	name
3r8fmkt1	Jhon
fmwxgc28	Ronan

这是什么魔法？

Answer 1

这种不一致的原因就像艾玛的comment、show 和 save 是两个操作，您的 UDF 将被调用两次，因此有两个不同的随机 ID。

如果您需要随机用户 ID，那么您需要生成一次（使用您的 UDF 或 monotonically_increasing_id 或 rand），然后保存它。您的 ID 将被永久存储并且不会再更改。