用固定种子打乱文件行？

Question

我想用固定种子对文件的行进行洗牌，以便我始终获得相同的随机顺序。我正在使用的命令如下：

sort -R file.txt | head -200 > file.sff

我可以对其进行什么更改，以便它使用固定的随机种子进行排序？

Answer 1

sort 的 GNU 实现有一个 --random-source 参数。将此参数与具有已知内容的文件名一起传递将产生一组可靠的输出。

请参阅随机源文档GNU coreutils 手册，其中包含以下示例实现和示例：

get_seed_random()
{
  种子=“$1”
  openssl enc -aes-256-ctr -pass pass:"$seed" -nosalt \
    /dev/null
}

shuf -i1-100 --random-source=<(get_seed_random 42)

由于 GNU sort 也是 coreutils 的一部分，因此相关文档也适用于此：

sort --random-source=<(get_seeded_random 42) -R file.txt | head -200 > file.sff

Answer 2

Linux 的 shuf 命令可以将一个文件作为固定源使用参数 --random-source 进行随机性：

shuf --random-source=some_file.txt file.txt | head -n200 > file.sff

如果您不想提供完整的文件，您可以随时通过管道传输：

shuf --random-source=<(yes 42) file.txt | head -n200 > file.sff

Answer 3

您可能不需要使用 sort 等外部工具，其选项和用法可能会因您的操作系统而异。 Bash 有一个内部随机数生成器，可通过 $RANDOM 变量访问。通常的做法是通过设置变量来为生成器提供种子，如下所示：

RANDOM=$

或

RANDOM=$(date '+%s')

等等。但是，当然，您也可以使用可预测的种子以获得可预测的非随机结果：

$ RANDOM=12345; echo $RANDOM
28207
$ RANDOM=12345; echo $RANDOM
28207

随机重新排序映射文件的行，您可以使用mapfile将文件读入数组：

$ mapfile -t a < source.txt

然后只需重写数组索引：

$ for i in ${!a[@]}; do a[$((RANDOM+${#a[@]}))]="${a[$i]}"; unset a[$i]; done

当读取非关联数组时，bash自然地按索引值的升序对元素进行排序。

请注意，每行的 new 索引都添加了数组元素的数量，以避免在该范围内发生冲突。这个解决方案仍然容易出错——不能保证 $RANDOM 会产生唯一的数字。您可以使用额外的代码来检查每个索引的先前使用情况来降低该风险，或者通过位移位来降低风险：

... a[$(( (RANDOM<<15)+RANDOM+${#a[@]} ))]= ...

这使您的索引值变成 30 位无符号整数而不是 15 位无符号整数。

Answer 4

如果你随机打乱行，那么你就没有进行排序。我之前没有见过带有 --random-source 提示的 sort 。如果它确实存在那就很有趣了。但是，这并不是按固定顺序对行进行排序。

我相信您必须为此编写一个程序，但我认为 Bash 无法完全做到这一点。

事实上，可能是这样。 $RANDOM 环境变量选择 0 到 32767 之间的随机数。您可以为 RANDOM 分配一个种子，随机数序列将反复出现。您可以使用发牌算法。将每一行读入 Bash 数组，然后使用发牌算法来选取每一行。

我不打算编写测试程序——尤其是在 Bash 中，但你应该明白这个想法。