在 Bash 中循环遍历文件的内容

Question

如何使用 Bash 迭代文本文件的每一行？

使用此脚本：

echo "Start!"
for p in (peptides.txt)
do
    echo "${p}"
done

我在屏幕上得到以下输出：（

Start!
./runPep.sh: line 3: syntax error near unexpected token `('
./runPep.sh: line 3: `for p in (peptides.txt)'

后来我想使用 $p 做一些更复杂的事情，而不仅仅是输出到屏幕。）

---

环境变量 SHELL是（来自环境）：

SHELL=/bin/bash

/bin/bash --version 输出：

GNU bash, version 3.1.17(1)-release (x86_64-suse-linux-gnu)
Copyright (C) 2005 Free Software Foundation, Inc.

cat /proc/version 输出：

Linux version 2.6.18.2-34-default (geeko@buildhost) (gcc version 4.1.2 20061115 (prerelease) (SUSE Linux)) #1 SMP Mon Nov 27 11:46:27 UTC 2006

文件peptides.txt 包含：

RKEKNVQ
IPKKLLQK
QYFHQLEKMNVK
IPKKLLQK
GDLSTALEVAIDCYEK
QYFHQLEKMNVKIPENIYR
RKEKNVQ
VLAKHGKLQDAIN
ILGFMK
LEDVALQILL

Answer 1

一种方法是：

while read p; do
  echo "$p"
done <peptides.txt

正如评论中所指出的，这具有修剪前导空格、解释反斜杠序列以及跳过最后一行（如果缺少终止换行符）的副作用。如果存在这些问题，您可以执行以下操作：

while IFS="" read -r p || [ -n "$p" ]
do
  printf '%s\n' "$p"
done < peptides.txt

---

特殊情况下，如果 循环body 可以从标准输入读取，您可以使用不同的文件描述符打开该文件：

while read -u 10 p; do
  ...
done 10<peptides.txt

这里，10 只是一个任意数字（与 0、1、2 不同）。

Answer 2

cat peptides.txt | while read line 
do
   # do something with $line here
done

和单行变体：

cat peptides.txt | while read line; do something_with_$line_here; done

如果没有尾随换行符，这些选项将跳过文件的最后一行。

您可以通过以下方式避免这种情况：

cat peptides.txt | while read line || [[ -n $line ]];
do
   # do something with $line here
done

Answer 3

选项 1a： While 循环：一次一行：输入重定向

#!/bin/bash
filename='peptides.txt'
echo Start
while read p; do 
    echo "$p"
done < "$filename"

选项 1b： While 循环：一次一行：
打开文件，从文件描述符（在本例中为文件描述符#4）读取。

#!/bin/bash
filename='peptides.txt'
exec 4<"$filename"
echo Start
while read -u4 p ; do
    echo "$p"
done

注意：选项 2 已删除。忽略涉及选项 2 的评论，因为它已作为反模式正确删除（如果您确实需要知道，请参阅编辑）

Answer 4

这并不比其他答案更好，但这是在没有空格的文件中完成工作的另一种方法（请参阅评论）。我发现我经常需要单行代码来挖掘文本文件中的列表，而无需使用单独的脚本文件的额外步骤。

for word in $(cat peptides.txt); do echo $word; done

这种格式允许我将所有内容都放在一个命令行中。将“echo $word”部分更改为您想要的任何内容，您可以发出用分号分隔的多个命令。以下示例使用该文件的内容作为您可能编写的其他两个脚本的参数。

for word in $(cat peptides.txt); do cmd_a.sh $word; cmd_b.py $word; done

或者，如果您打算像流编辑器一样使用它（学习 sed），您可以将输出转储到另一个文件，如下所示。

for word in $(cat peptides.txt); do cmd_a.sh $word; cmd_b.py $word; done > outfile.txt

我使用了上面写的这些，因为我使用了文本文件，其中我用每行一个单词创建了它们。 （参见评论）如果您不想分割单词/行中的空格，它会变得有点难看，但相同的命令仍然可以按如下方式工作：

OLDIFS=$IFS; IFS=
这只是告诉 shell 仅在换行符上分割，而不是空格，然后将环境恢复到以前的状态。不过，此时，您可能需要考虑将其全部放入 shell 脚本中，而不是将其全部压缩到一行中。
祝你好运！
\n'; for line in $(cat peptides.txt); do cmd_a.sh $line; cmd_b.py $line; done > outfile.txt; IFS=$OLDIFS

这只是告诉 shell 仅在换行符上分割，而不是空格，然后将环境恢复到以前的状态。不过，此时，您可能需要考虑将其全部放入 shell 脚本中，而不是将其全部压缩到一行中。

祝你好运！

Answer 5

其他答案中未涵盖的其他内容：

从分隔文件中读取

# ':' is the delimiter here, and there are three fields on each line in the file
# IFS set below is restricted to the context of `read`, it doesn't affect any other code
while IFS=: read -r field1 field2 field3; do
  # process the fields
  # if the line has less than three fields, the missing fields will be set to an empty string
  # if the line has more than three fields, `field3` will get all the values, including the third field plus the delimiter(s)
done < input.txt

使用进程替换从另一个命令的输出中读取

while read -r line; do
  # process the line
done < <(command ...)

这种方法比 command ... |同时读取 -r 行； do ... 因为这里的 while 循环在当前 shell 中运行，而不是像后者那样在子 shell 中运行。请参阅相关帖子 在 while 循环内修改的变量是不记得了。

从空分隔输入读取，例如 find ... -print0

while read -r -d '' line; do
  # logic
  # use a second 'read ... <<< "$line"' if we need to tokenize the line
done < <(find /path/to/dir -print0)

相关阅读： BashFAQ/020 - 如何查找并安全地处理包含换行符、空格或两者兼而有之的文件名？

一次读取多个文件

while read -u 3 -r line1 && read -u 4 -r line2; do
  # process the lines
  # note that the loop will end when we reach EOF on either of the files, because of the `&&`
done 3< input1.txt 4< input2.txt

基于 @chepner 的回答这里：

-u是一个bash扩大。对于 POSIX 兼容性，每个调用看起来类似于 read -r X <&3。

将整个文件读入数组（Bash 版本 4 之前的版本）

while read -r line; do
    my_array+=("$line")
done < my_file

如果文件以不完整的行结尾（末尾缺少换行符），则：

while read -r line || [[ $line ]]; do
    my_array+=("$line")
done < my_file

将整个文件读入数组（Bash 版本 4x 及更高版本）

readarray -t my_array < my_file

或

mapfile -t my_array < my_file

然后

for line in "${my_array[@]}"; do
  # process the lines
done

• < p>有关 shell 内置命令的更多信息 阅读 和 readarray 命令 - GNU

• 有关 IFS 的更多信息 - 维基百科

• BashFAQ/001 - 如何逐行（和/或逐字段）读取文件（数据流、变量）？

相关文章：

• 在 Bash 中从文本文件创建数组
• 读取只有一行的文件的方法有什么区别？
• Bash while read 循环与 cat 相比非常慢，为什么？

Answer 6

使用 while 循环，如下所示：

while IFS= read -r line; do
   echo "$line"
done <file

注意：

1. 如果没有正确设置 IFS，则会丢失缩进。

2. 您几乎应该始终使用 -r 选项进行读取。

3. 不要读取带有 for 的行

Answer 7

如果您不希望读取被换行符打断，请使用 -

#!/bin/bash
while IFS='' read -r line || [[ -n "$line" ]]; do
    echo "$line"
done < "$1"

然后以文件名作为参数运行脚本。

Answer 8

假设您有这个文件：

$ cat /tmp/test.txt
Line 1
    Line 2 has leading space
Line 3 followed by blank line

Line 5 (follows a blank line) and has trailing space    
Line 6 has no ending CR

有四个元素将改变许多 Bash 解决方案读取的文件输出的含义：

1. 空行 4；
2. 两行上有前导或尾随空格；
3. 维护各行的含义（即每一行都是一条记录）；
4. 第 6 行未以 CR 结尾。

如果您希望文本文件逐行包含空白行和不带 CR 的终止行，则必须使用 while 循环，并且必须对最后一行进行替代测试。

以下是可能更改文件的方法（与 cat 返回的内容相比）：

1) 丢失最后一行以及前导和尾随空格：（

$ while read -r p; do printf "%s\n" "'$p'"; done </tmp/test.txt
'Line 1'
'Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space'

如果您执行 while IFS= read -rp ; do printf "%s\n" "'$p'" did 相反，您保留前导和尾随空格，但如果不以以下方式终止，仍然会丢失最后一行CR)

2) 使用 cat 进行进程替换将会一口气读取整个文件并失去各个行的含义：（

$ for p in "$(cat /tmp/test.txt)"; do printf "%s\n" "'$p'"; done
'Line 1
    Line 2 has leading space
Line 3 followed by blank line

Line 5 (follows a blank line) and has trailing space    
Line 6 has no ending CR'

如果您从 $ 中删除 " (cat /tmp/test.txt) 您逐字读取文件，而不是一口气读取文件。也可能不是预期的内容...）

---

逐行读取文件的最强大、最简单的方法。并保留所有空格的方法是：

$ while IFS= read -r line || [[ -n $line ]]; do printf "'%s'\n" "$line"; done </tmp/test.txt
'Line 1'
'    Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space    '
'Line 6 has no ending CR'

如果要删除前导空格和交易空格，请删除 IFS= 部分：（

$ while read -r line || [[ -n $line ]]; do printf "'%s'\n" "$line"; done </tmp/test.txt
'Line 1'
'Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space'
'Line 6 has no ending CR'

没有终止 \n 的文本文件，虽然相当常见，在 POSIX 下被认为是损坏的，如果您可以依靠尾随的 \n ，则不需要 || [[ -n $line ]] 在 while 循环中。）

更多信息请参见 BASH 常见问题解答

Answer 9

这可能是最简单的答案，也许它不适用于所有情况，但它对我来说非常有用：

while read line;do echo "$line";done<peptides.txt

如果您需要用括号括起空格：

while read line;do echo \"$line\";done<peptides.txt

啊，这与获得最多支持的答案几乎相同，但这一切都在一条线上。

Answer 10

我喜欢使用 xargs 而不是 while。 xargs 功能强大且命令行友好

cateptides.txt | xargs -I % sh -c "echo %"

使用 xargs，您还可以使用 -t 添加详细信息，并使用 -p 添加验证代码>

Answer 11

#!/bin/bash
#
# Change the file name from "test" to desired input file 
# (The comments in bash are prefixed with #'s)
for x in $(cat test.txt)
do
    echo $x
done

Answer 12

这是我现实生活中的示例，如何循环另一个程序输出的行，检查子字符串，从变量中删除双引号，在循环之外使用该变量。我想很多人迟早都会问这些问题。

##Parse FPS from first video stream, drop quotes from fps variable
## streams.stream.0.codec_type="video"
## streams.stream.0.r_frame_rate="24000/1001"
## streams.stream.0.avg_frame_rate="24000/1001"
FPS=unknown
while read -r line; do
  if [[ $FPS == "unknown" ]] && [[ $line == *".codec_type=\"video\""* ]]; then
    echo ParseFPS $line
    FPS=parse
  fi
  if [[ $FPS == "parse" ]] && [[ $line == *".r_frame_rate="* ]]; then
    echo ParseFPS $line
    FPS=${line##*=}
    FPS="${FPS%\"}"
    FPS="${FPS#\"}"
  fi
done <<< "$(ffprobe -v quiet -print_format flat -show_format -show_streams -i "$input")"
if [ "$FPS" == "unknown" ] || [ "$FPS" == "parse" ]; then 
  echo ParseFPS Unknown frame rate
fi
echo Found $FPS

在循环外部声明变量，设置值并在循环外部使用它需要完成<<<< “$(...)”语法。应用程序需要在当前控制台的上下文中运行。命令周围的引号保留输出流的换行符。

子字符串的循环匹配，然后读取 name=value 对，分割最后一个 = 字符的右侧部分，删除第一个引号，删除最后一个引号，我们有一个干净的值用于其他地方。

Answer 13

这来得相当晚了，但考虑到它可能对某人有帮助，我添加了答案。而且这可能不是最好的方法。 head 命令可以与 -n 参数一起使用，从文件开头读取 n 行，同样 tail命令可用于从底部读取。现在，要从文件中获取第 n 行，我们将 n 行作为头部，将数据通过管道传输到管道数据的尾部仅 1 行。

   TOTAL_LINES=`wc -l $USER_FILE | cut -d " " -f1 `
   echo $TOTAL_LINES       # To validate total lines in the file

   for (( i=1 ; i <= $TOTAL_LINES; i++ ))
   do
      LINE=`head -n$i $USER_FILE | tail -n1`
      echo $LINE
   done

Answer 14

@Peter：这可能适合你-

echo "Start!";for p in $(cat ./pep); do
echo $p
done

这将返回输出-

Start!
RKEKNVQ
IPKKLLQK
QYFHQLEKMNVK
IPKKLLQK
GDLSTALEVAIDCYEK
QYFHQLEKMNVKIPENIYR
RKEKNVQ
VLAKHGKLQDAIN
ILGFMK
LEDVALQILL

Answer 15

使用 xargs

cat <file_name> | xargs -I {} echo {}

echo 的另一种方法可以用其他命令替换或进一步通过管道传输。

Answer 16

对于“cateptes.txt”中的 p
做
回显“${p}”
完毕