Apache Spark CSV 使用 Windows 换行符 (CRLF) 从 DataFrame 写入

Question

我在基于 Unix 的集群中运行 Apache Spark 3.1.2，为基于 Windows 的摄取系统准备 CSV 文件。当 Windows 系统摄取集群 Spark CSV 导出创建的 CSV 文件时，无法解析 csv，因为新行是 LF \n Unix 风格新行，而 Windows系统需要 CRLF \r\n 样式的行结尾。

有没有办法将 Apache Spark CSV 导出器配置为使用基于 Windows 的新行进行写入，尽管在 Unix 环境中运行？是否有一个 scala 工具可以在 CSV 写入后运行，可以在导出到 Windows 系统之前将文件转换为 Windows 新行？

我已经看到了 .option("lineSep", "\r\n") 但我相信这仅供阅读。

Answer 1

1. 丑陋的解决方案 - 如果您的字段没有转义，您可以将 \r 添加到最后一个字段
2. 仍然丑陋 - 如果您的 csv 字段不需要转义 - 没有奇怪的字符，您可以通过用逗号 add \r 连接所有列来手动构建行最后写入为文本
3. 后处理 - 保存为 csv，读取为文本，在每行添加 \r 并保存为文本。
4. 如果文件不太大 - 我猜它们不是因为你要把它们转移到另一台机器上进行处理，你可以使用linux工具添加\r，sed，perl，或者只是 unix2dos util

Answer 2

我必须对文件进行后处理。我将它合并到 1 个分区并写出 CSV，然后使用 Java BufferedReader 逐行加载文件。我使用 BufferedOutputWriter 将输入流逐行传输到编写器中，在每行之间注入 \r\n ...太蹩脚了。