按行长度（包括空格）对文本文件进行排序

Question

我有一个如下所示的 CSV 文件，

AS2345,ASDF1232, Mr. Plain Example, 110 Binary ave.,Atlantis,RI,12345,(999)123-5555,1.56
AS2345,ASDF1232, Mrs. Plain Example, 1121110 Ternary st.                                        110 Binary ave..,Atlantis,RI,12345,(999)123-5555,1.56
AS2345,ASDF1232, Mr. Plain Example, 110 Binary ave.,Liberty City,RI,12345,(999)123-5555,1.56
AS2345,ASDF1232, Mr. Plain Example, 110 Ternary ave.,Some City,RI,12345,(999)123-5555,1.56

我需要按行长度（包括空格）对其进行排序。以下命令不会 包含空格，有没有办法修改它，使其对我有用？

cat $@ | awk '{ print length, $0 }' | sort -n | awk '{$1=""; print $0}'

Answer 1

回答

< testfile awk '{ print length, $0 }' | sort -n -s | cut -d" " -f2-

或者，对任何等长行进行原始（可能是无意的）子排序：

< testfile awk '{ print length, $0 }' | sort -n | cut -d" " -f2-

在这两种情况下，我们都通过在最终剪切中放弃 awk 来解决您所提出的问题。

匹配长度的行 - 在平局的情况下该怎么办：

问题没有指定是否需要对匹配长度的行进行进一步排序。我认为这是不需要的，并建议使用 -s (--stable) 来防止这些行相互排序，并将它们保留在相对位置它们在输入中出现的顺序。

（那些想要更多地控制这些联系排序的人可能会看看 sort 的 --key 选项。）

为什么问题的尝试解决方案失败（awk line-rebuilding）：

值得注意的是：

echo "hello   awk   world" | awk '{print}'
echo "hello   awk   world" | awk '{$1="hello"; print}'

它们 之间的区别仅

hello   awk   world
hello awk world

（gawk）手册的相关部分顺便提到，当您更改一个字段时，awk 将重建整个 $0 （基于分隔符等）。我想这不是疯狂的行为。它有这样的内容：

“最后，有时使用字段和 OFS 的当前值强制 awk 重建整个记录是很方便的。为此，请使用看似无害的赋值：”“

 $1 = $1   # force record to be reconstituted
 print $0  # or whatever else with $0

这迫使 awk 重建记录。”

测试输入，包括一些等长的行：

aa A line   with     MORE    spaces
bb The very longest line in the file
ccb
9   dd equal len.  Orig pos = 1
500 dd equal len.  Orig pos = 2
ccz
cca
ee A line with  some       spaces
1   dd equal len.  Orig pos = 3
ff
5   dd equal len.  Orig pos = 4
g

Answer 2

如果您确实想使用 awk，那么来自 neillb 的 AWK 解决方案 非常有用，它解释了为什么它是这样的这是一个麻烦，但如果您想要快速完成工作并且不关心您在什么中执行此操作，一种解决方案是使用 Perl 的 sort() 函数和自定义的 caparison 例程来迭代输入行。这是一个单行代码：

perl -e 'print sort { length($a) <=> length($b) } <>'

您可以将其放在管道中任何需要的地方，要么接收 STDIN（来自 cat 或 shell 重定向），要么只是将文件名作为另一个参数传递给 perl 并让它打开文件。

就我而言，我首先需要最长的行，因此我在比较中交换了 $a 和 $b 。

Answer 3

基准测试结果

以下是针对该问题的其他答案的解决方案的基准测试结果。

测试方法

• 在快速机器上连续运行 10 次，平均
• Perl 5.24
• awk 3.1.5（gawk 4.1.0 倍快约 2%）
• 输入文件是一个 550MB、600 万行的庞然大物（英国国家语料库 txt）

结果

1. 迦勒的perl 解决方案花了 11.2 秒
2. 我的 perl 解决方案花了 11.6 秒
3. neillb 的 awk 解决方案 #1 花了20 秒
4. neillb 的 awk 解决方案 #2 花了 23 秒
5. anubhava 的 awk 解决方案花了 24 秒
6. Jonathan 的 awk 解决方案花了 25 秒
7. Fritz 的 bash 解决方案 比 awk 解决方案花费的时间长 400 倍（使用截断的测试用例） 100000 行）。它工作得很好，只是需要永远。

另一个 perl 解决方案

perl -ne 'push @a, $_; END{ print sort { length $a <=> length $b } @a }' file

Answer 4

尝试使用以下命令：

awk '{print length, $0}' your-file | sort -n | cut -d " " -f2-

Answer 5

Python 解决方案

这是一个具有相同功能的 Python 单行代码，已使用 Python 3.9.10 和 2.7.18 进行了测试。它比 Caleb 的 perl 解决方案快约 60%，并且输出相同（使用包含 1480 万行的 300MiB 单词列表文件进行测试）。

python -c 'import sys; sys.stdout.writelines(sorted(sys.stdin.readlines(), key=len))'

基准：

python -c 'import sys; sys.stdout.writelines(sorted(sys.stdin.readlines(), key=len))'
real    0m5.308s
user    0m3.733s
sys     0m1.490s

perl -e 'print sort { length($a) <=> length($b) } <>'
real    0m8.840s
user    0m7.117s
sys     0m2.279s

Answer 6

纯狂欢：

declare -a sorted

while read line; do
  if [ -z "${sorted[${#line}]}" ] ; then          # does line length already exist?
    sorted[${#line}]="$line"                      # element for new length
  else
    sorted[${#line}]="${sorted[${#line}]}\n$line" # append to lines with equal length
  fi
done < data.csv

for key in ${!sorted[*]}; do                      # iterate over existing indices
  echo -e "${sorted[$key]}"                       # echo lines with equal length
done

Answer 7

length() 函数确实包含空格。我只会对您的管道进行细微调整（包括避免 UUOC）。

awk '{ printf "%d:%s\n", length($0), $0;}' "$@" | sort -n | sed 's/^[0-9]*://'

sed 命令直接删除 awk 命令添加的数字和冒号。或者，保留 awk 的格式：

awk '{ print length($0), $0;}' "$@" | sort -n | sed 's/^[0-9]* //'

Answer 8

我发现如果您的文件包含以数字开头的行，这些解决方案将不起作用，因为它们将与所有计数的行一起按数字排序。解决方案是为 sort 提供 -g （通用数字排序）标志，而不是 -n （数字排序）：

awk '{ print length, $0 }' lines.txt | sort -g | cut -d" " -f2-

Answer 9

使用 POSIX Awk：

{
  c = length
  m[c] = m[c] ? m[c] RS $0 : $0
} END {
  for (c in m) print m[c]
}

示例

Answer 10

1）纯awk解决方案。假设行长度不能大于 > 1024
然后

cat 文件名 | awk '开始{分钟= 1024; s = "";} {l = 长度($0); if (l < min) {min = l; s = $0;}} END {print s}'

2) 一种 liner bash 解决方案，假设所有行只有 1 个单词，但可以针对所有行具有相同单词数的任何情况进行修改：

LINES=$(cat filename);对于 $LINES 中的 k；执行 printf "$k ";回声 $k | wc-L；完成 |排序 -k2 |头 -n 1 |剪切-d“”-f1

Answer 11

使用 Raku（以前称为 Perl6）

~$ cat "BinaryAve.txt" | raku -e 'given lines() {.sort(*.chars).join("\n").say};'

AS2345,ASDF1232, Mr. Plain Example, 110 Binary ave.,Atlantis,RI,12345,(999)123-5555,1.56
AS2345,ASDF1232, Mr. Plain Example, 110 Ternary ave.,Some City,RI,12345,(999)123-5555,1.56
AS2345,ASDF1232, Mr. Plain Example, 110 Binary ave.,Liberty City,RI,12345,(999)123-5555,1.56
AS2345,ASDF1232, Mrs. Plain Example, 1121110 Ternary st.                                        110 Binary ave..,Atlantis,RI,12345,(999)123-5555,1.56

要反转排序，请在方法调用链的中间添加 .reverse - 紧接在 .sort() 之后。下面的代码显示 .chars 包含空格：

~$ cat "number_triangle.txt" | raku -e 'given lines() {.map(*.chars).say};'
(1 3 5 7 9 11 13 15 17 19 0)
~$ cat "number_triangle.txt"
1
1 2
1 2 3
1 2 3 4
1 2 3 4 5
1 2 3 4 5 6
1 2 3 4 5 6 7
1 2 3 4 5 6 7 8
1 2 3 4 5 6 7 8 9
1 2 3 4 5 6 7 8 9 0

下面是使用 Genbank 中的 9.1MB txt 文件对 awk 和 Raku 进行的时间比较：

~$ time cat "rat_whole_genome.txt" | raku -e 'given lines() {.sort(*.chars).join("\n").say};' > /dev/null
    
    real    0m1.308s
    user    0m1.213s
    sys 0m0.173s
    
~$ #awk code from neillb
~$ time cat "rat_whole_genome.txt" | awk '{ print length, $0 }' | sort -n -s | cut -d" " -f2-  > /dev/null
    
    real    0m1.189s
    user    0m1.170s
    sys 0m0.050s

HTH。

https://raku.org

Answer 12

这是一种按长度对行进行排序的多字节兼容方法。它需要：

1. wc -m 可供您使用（macOS 有）。
2. 您当前的语言环境支持多字节字符，例如通过设置LC_ALL=UTF-8。您可以在 .bash_profile 中进行设置，或者只需将其添加到以下命令之前即可。
3. testfile 具有与您的语言环境匹配的字符编码（例如，UTF-8）。

这是完整的命令：

cat testfile | awk '{l=$0; gsub(/\047/, "\047\"\047\"\047", l); cmd=sprintf("echo \047%s\047 | wc -m", l); cmd | getline c; close(cmd); sub(/ */, "", c); { print c, $0 }}' | sort -ns | cut -d" " -f2-

逐部分解释：

• l=$0; gsub(/\047/, "\047\"\047\"\047", l); ← 制作 awk 变量 l 中每一行的副本并对每个 ' 进行双重转义，以便该行可以安全地作为 shell 命令进行回显（\047 是八进制表示法中的单引号）。
• cmd=sprintf("echo \047%s\047 | wc -m", l); ← 这是我们要执行的命令，它会回显转义行到wc -m。
• <代码>cmd | getline c; ← 执行命令并将返回的字符计数值复制到 awk 变量 c 中。
• close(cmd); ← 关闭 shell 命令的管道，以避免达到一个进程中打开文件数量的系统限制。
• sub(/ */, "", c); ← 删除 wc 返回的字符计数值中的空格。
• { print c, $0 } ← 打印该行的字符计数值、空格和原始行。
• <代码>| sort -ns ← 按数字方式对行进行排序（按前置字符计数值）(-n)，并保持稳定的排序顺序 (-s) ）。
• <代码>| cut -d" " -f2- ← 删除前置字符计数值。

它很慢（在快速的 Macbook Pro 上每秒只有 160 行），因为它必须为每行执行一个子命令。

或者，仅使用 gawk 执行此操作（从版本 3.1.5 开始，gawk 可以识别多字节），这会明显更快。执行所有转义和双引号以通过 awk 的 shell 命令安全地传递行是很麻烦的，但这是我能找到的唯一不需要安装额外软件的方法（gawk 默认情况下不可用） macOS）。

Answer 13

重温一下这个。这就是我的处理方法（计算 LINE 的长度并将其存储为 LEN，按 LEN 排序，仅保留 LINE）：

cat test.csv | while read LINE; do LEN=$(echo ${LINE} | wc -c); echo ${LINE} ${LEN}; done | sort -k 2n | cut -d ' ' -f 1     

Answer 14

徒劳地“给行添加长度前缀并将其输入 sort -n”，这是一个“bash 本机”解决方案（没有 awk、perl 或 _shudder python） ：

cat FILE | while read line;
  do echo "${#line}:$line";
  done | sort -n | cut -d: -f2-