使用 awk 代码从文件中随机选择 3000 行

Question

我想从包含 8000 行的 Sample.file 中随机选择 3000 行。 我将使用 awk 代码或从命令行执行此操作。我怎样才能做到这一点？

Answer 1

如果你有 gnu sort，这很容易：

sort -R FILE | head -n3000

如果你有 gnu shuf，那就更容易了：

shuf -n3000 FILE

Answer 2

awk 'BEGIN{srand();}
{a[NR]=$0}
END{for(i=1; i<=3000; i++){x=int(rand()*NR) + 1; print a[x];}}' yourFile

Answer 3

根据 Glenn 的评论进行了修复：

awk 'BEGIN {
  a=8000; l=3000
  srand(); nr[x]
  while (length(nr) <= l) 
    nr[int(rand() * a) +  1]    
  }
NR in nr
  ' infile 

PS 将数组传递给 length 内置函数是不可移植的，您已被警告:)

Answer 4

您可以使用 awk、sort、head/tail 和 sed 的组合来执行此操作，例如：

pax$ seq 1 100 | awk '
...$    BEGIN {srand()}
...$          {print rand() " " $0}
...$ ' | sort | head -5 | sed 's/[^ ]* //'
57
25
80
51
72

如您所见，它从 seq 1 100 中生成的一百行中随机选择 5 行。

awk 技巧在文件中的每一行前面加上一个随机数和格式为 "0.237788 " 的空格，然后（显然）根据该随机数对其进行排序。

然后，您使用 head （如果没有 head，则使用 tail）来获取第一个（或最后一个）N< /代码>行。

最后，sed 将去掉随机数和空格以及每行的开头。

对于您的具体情况，您可以使用类似的内容（一行）：

awk 'BEGIN {srand()} {print rand() " " $0}' file8000.txt
    | sort
    | tail -3000
    | sed 's/[^ ]* //'
    >file3000.txt

Answer 5

我使用了这些命令，得到了我想要的：

awk 'BEGIN {srand()} {print rand() " " $0}' examples/data_text.txt | sort -n | tail -n 80 | awk '{printf "%1d %s %s\n",$2, $3, $4}' > examples/crossval.txt

它实际上从输入文件中随机选择 80 行。

Answer 6

在 PowerShell 中：

Get-Content myfile | Get-Random -Count 3000

或更短：

gc myfile | random -c 3000

Answer 7

如果您只需要大约 3000 行，这是一个简单的方法：

awk -v N=`cat FILE | wc -l` 'rand()<3000/N' FILE

反引号 (`) 之间的部分给出了文件中的行数。

Answer 8

对于我不想洗牌的大文件，这效果很好而且相当快：

sed -u -n 'l1p;l2p; ... ;l1000p;l1000q'

-u 选项减少缓冲，l1、l2、... l1000 是从 R 获得的随机且排序的行号（对于 python 或 perl 来说同样好）。