在 Linux/bash 下分割文件及其行

Question

我有一个相当大的文件（1.5 亿行，每行 10 个字符）。 我需要将其拆分为 150 个文件，每行 200 万行，每个输出行要么是源行的前 5 个字符，要么是后 5 个字符。 我可以在 Perl 中相当快地完成此操作，但我想知道是否有使用 bash 的简单解决方案。 有任何想法吗？

Answer 1

我认为这样的东西可以工作：

out_file=1
out_pairs=0
cat $in_file | while read line; do
    if [ $out_pairs -gt 1000000 ]; then
        out_file=$(($out_file + 1))
        out_pairs=0
    fi
    echo "${line%?????}" >> out${out_file}
    echo "${line#?????}" >> out${out_file}
    out_pairs=$(($out_pairs + 1))
done

不过不确定它是否比使用 Perl 更简单或更有效。

Answer 2

每行变体的前五个字符，假设大文件名为 x.txt，并假设可以在当前目录中创建名为 x.txt.* 的文件：

split -l 2000000 x.txt x.txt.out & ;& (对于 x.txt.out* 中的 splitfile; do outfile="${splitfile}.first Five"; echo "$splitfile -> $outfile"; cut -c 1-5 "$splitfile" > "$outfile" ; 完毕）

Answer 3

为什么不直接使用原生linux split 函数呢？

split -d -l 999999 input_filename

这将输出新的分割文件，其文件名类似于 x00 x01 x02...

有关详细信息，请参阅手册

man split

Answer 4

家庭作业？ :-)

我认为一个带有 sed （将每一行分成两部分）和 split （将内容分成多个文件）的简单管道就足够了。

man 命令是你的朋友。

---

确认不是作业后添加：

怎么样

sed 's/\(.....\)\(.....\)/\1\n\2/' input_file | split -l 2000000 - out-prefix-

？