如何使用 Red Hat Linux 上的标准工具随机化文件中的行？

Question

如何使用 Red Hat Linux 上的标准工具随机化文件中的行？

我没有 shuf 命令，因此我正在寻找类似 perl 或 awk 单行命令来完成相同的任务。

Answer 1

嗯，我们不要忘记

sort --random-sort

Answer 2

shuf 是最好的方法。

sort -R 非常慢。 我只是尝试对 5GB 文件进行排序。 2.5小时后我放弃了。 然后 shuf 一分钟之内就把它排序了。

Answer 3

你就得到了一个 Perl 语句！

perl -MList::Util -e 'print List::Util::shuffle <>'

它使用一个模块，但该模块是 Perl 代码分发的一部分。 如果这还不够好，您可以考虑自己推出。

我尝试将其与 -i 标志（“就地编辑”）一起使用来编辑文件。 文档表明它应该有效，但事实并非如此。 它仍然将打乱的文件显示到标准输出，但这次它删除了原始文件。 我建议你不要使用它。

考虑一个 shell 脚本：

#!/bin/sh

if [[ $# -eq 0 ]]
then
  echo "Usage: $0 [file ...]"
  exit 1
fi

for i in "$@"
do
  perl -MList::Util -e 'print List::Util::shuffle <>' $i > $i.new
  if [[ `wc -c $i` -eq `wc -c $i.new` ]]
  then
    mv $i.new $i
  else
    echo "Error for file $i!"
  fi
done

未经测试，但希望可以工作。

Answer 4

cat yourfile.txt | while IFS= read -r f; do printf "%05d %s\n" "$RANDOM" "$f"; done | sort -n | cut -c7-

读取文件，在每一行前面添加一个随机数，根据这些随机前缀对文件进行排序，然后剪切前缀。 单衬管适用于任何半现代外壳。

编辑：合并理查德·汉森的言论。

Answer 5

python 的单行：

python -c "import random, sys; lines = open(sys.argv[1]).readlines(); random.shuffle(lines); print ''.join(lines)," myFile

并且仅打印单个随机行：

python -c "import random, sys; print random.choice(open(sys.argv[1]).readlines())," myFile

但是请参阅 这篇文章 了解 python < 的缺点代码>random.shuffle()。 它不适用于许多（超过 2080 个）元素。

Answer 6

与 Jim 的回答相关：

我的 ~/.bashrc 包含以下内容：

unsort ()
{
    LC_ALL=C sort -R "$@"
}

使用 GNU coreutils 的排序，-R = --random-sort，其中生成每行的随机散列并按其排序。 随机哈希实际上不会在某些较旧（有问题）版本的某些区域设置中使用，导致它返回正常的排序输出，这就是我设置 LC_ALL=C 的原因。

---

与克里斯的回答相关：

perl -MList::Util=shuffle -e'print shuffle<>'

是一句稍短的俏皮话。 （-Mmodule=a,b,c 是 -e 'use module qw(abc);' 的简写。）

给出一个简单的 -i 的原因 不适用于就地洗牌，因为 Perl 期望 print 发生在正在读取文件的同一循环中，并且 print shuffle <> 在读取并关闭所有输入文件后才会输出。

作为更短的解决方法，

perl -MList::Util=shuffle -i -ne'BEGIN{undef$/}print shuffle split/^/m'

将就地洗牌文件。 (-n 表示“将代码包装在 while (<>) {...} 循环中；BEGIN{undef$/} 使 Perl 对一次文件而不是一次行进行操作，并且需要 split/^/m 因为 $_=<> code> 已隐式完成整个文件而不是行。）

Answer 7

当我使用自制软件安装 coreutils 时，

brew install coreutils

shuf 变为 n。

Answer 8

带有 DarwinPorts 的 Mac OS X：

sudo port install unsort
cat $file | unsort | ...

Answer 9

FreeBSD 有自己的随机实用程序：

cat $file | random | ...

它位于 /usr/games/random 中，因此如果您还没有安装游戏，那么您就不走运了。

您可以考虑安装 textproc/rand 或 textproc/msort 等端口。 如果考虑可移植性，这些很可能在 Linux 和/或 Mac OS X 上可用。

Answer 10

在 OSX 上，从 http://ftp.gnu.org/gnu/coreutils/ 获取最新版本和类似

./configure 的东西
制作
sudo make install

...应该给你 /usr/local/bin/sort --random-sort

而不会弄乱 /usr/bin/sort

Answer 11

或者从 MacPorts 获取：

$ sudo port install coreutils

和/或

$ /opt/local//libexec/gnubin/sort --random-sort