如何在命令中使用文件并将输出重定向到同一文件而不截断？

Question

基本上，我想从文件中以输入文本为输入，从该文件中删除一行，然后将输出发送回同一文件。如果这样可以使它变得更清晰。

grep -v 'seg[0-9]\{1,\}\.[0-9]\{1\}' file_name > file_name

但是，当我这样做时，我最终会得到一个空白文件。 有什么想法吗？

Answer 1

使用 Sponge 用于此类任务。它的一部分是莫比尔。

尝试此命令：

 grep -v 'seg[0-9]\{1,\}\.[0-9]\{1\}' file_name | sponge file_name

Answer 2

您不能这样做，因为Bash首先处理重定向，然后执行命令。因此，到Grep查看File_name时，它已经为空了。您可以使用临时文件。

#!/bin/sh
tmpfile=$(mktemp)
grep -v 'seg[0-9]\{1,\}\.[0-9]\{1\}' file_name > ${tmpfile}
cat ${tmpfile} > file_name
rm -f ${tmpfile}

这样，请考虑使用 mktemp 创建 tmpfile ，但请注意，它不是POSIX。

Answer 3

改用SED：

sed -i '/seg[0-9]\{1,\}\.[0-9]\{1\}/d' file_name

Answer 4

尝试这个简单的文件，

grep -v 'seg[0-9]\{1,\}\.[0-9]\{1\}' file_name | tee file_name

这次您的文件不会空白:)，您的输出也印在您的终端。

Answer 5

这是非常可能的，您只需要确保在编写输出时，将其写入另一个文件。这可以通过在打开文件描述符后删除文件来完成，但是在写信给该文件描述符后：

exec 3<file ; rm file; COMMAND <&3 >file ;  exec 3>&-

或逐条划线，以更好地理解它：

exec 3<file       # open a file descriptor reading 'file'
rm file           # remove file (but fd3 will still point to the removed file)
COMMAND <&3 >file # run command, with the removed file as input
exec 3>&-         # close the file descriptor

这仍然是一件风险的事情，因为如果命令无法正常运行，则您' LL丢失文件内容。如果命令返回非零退出代码，可以通过还原文件来缓解这种情况：

exec 3<file ; rm file; COMMAND <&3 >file || cat <&3 >file ; exec 3>&-

我们还可以定义一个shell函数以使其更易于使用：

# Usage: replace FILE COMMAND
replace() { exec 3<$1 ; rm $1; ${@:2} <&3 >$1 || cat <&3 >$1 ; exec 3>&- }

示例：

$ echo aaa > test
$ replace test tr a b
$ cat test
bbb

另外，请注意，这将保留原始文件的完整副本（直到直到第三个文件描述符已关闭）。如果您使用的是Linux，并且要处理的文件太大，无法在磁盘上进行两次适合，则可以查看此脚本在未分配已经处理过的块的同时，将文件将文件交给指定的命令block块。与往常一样，请阅读使用页面中的警告。

Answer 6

您不能将重定向运算符（＆gt; 或＆gt;＆gt; ）用于同一文件，因为它具有更高的优先级，并且会在之前创建/截断文件。该命令甚至被调用。为了避免这种情况，您应该使用适当的工具，例如 Tee ， Sponge ， sed -i 或任何其他可以将结果写入文件的工具（例如分类文件-O文件）。

基本上，将输入重定向到同一原始文件没有意义，您应该使用适当的原位编辑器为此，例如Ex Editor（VIM的一部分）：

ex '+g/seg[0-9]\{1,\}\.[0-9]\{1\}/d' -scwq file_name

where：

• '+CMD'/<代码> -c - 运行任何EX/VIM命令
• g/datter/d - 使用 global （ help：g ）
• -s - 静音模式（ man ex ）
• <代码> -C WQ - 执行：写 and ：退出命令

---

您可以使用 SED> SED> SED 实现相同（如已经显示的那样在其他答案中），但是在场（ -i ）是非标准的freebsd扩展程序（Unix/linux之间的工作方式可能有所不同），并且基本上是 s s tream ed itor，而不是文件编辑器。请参阅： ex模式有任何实际用途吗？

Answer 7

由于这个问题是搜索引擎中的最佳结果，因此这里是基于 https://serverfault.com/a/547331 使用子壳代替 Sponge （通常不是像OS X这样的香草安装的一部分）：

echo "$(grep -v 'seg[0-9]\{1,\}\.[0-9]\{1\}' file_name)" > file_name

一般情况是：

echo "$(cat file_name)" > file_name

编辑，上述解决方案有一些警告：

• printf'％s'＆lt; string＆gt; 应代替 echo echo＆lt; string＆gt; ，以便包含 -n don'的文件t导致不希望的行为。
• 命令替代条拖延新线（）因此，我们应该将诸如 x 的后缀字符附加到输出，然后通过临时变量的参数扩展喜欢 $ {v％x} 。
• 使用临时变量 $ V 踩踏任何现有变量 $ v 的值，因此我们应该在括号中嵌套整个表达式以保留上一个值。
• 诸如bash之类的外壳的另一个错误/功能是，命令替换条带上了无法打印的字符，例如输出中的 null 。我通过调用 dd if =/dev/Zero bs = 1 count = 1＆gt;＆gt来验证这一点。 file_name 并使用 cat file_name |在十六进制中查看它| xxd -p 。但是 echo $（cat file_name）| XXD -P 已剥离。 So this answer should not be used on binary files or anything using unprintable characters, as

一般解决方案（Albiet稍慢，内存更大，仍在剥离无法打印的字符）是：

(v=$(cat file_name; printf x); printf '%s' ${v%x} > file_name)

测试来自 https：// https：// https：// askubuntu.com/a/752451 ：

printf "hello\nworld\n" > file_uniquely_named.txt && for ((i=0; i<1000; i++)); do (v=$(cat file_uniquely_named.txt; printf x); printf '%s' ${v%x} > file_uniquely_named.txt); done; cat file_uniquely_named.txt; rm file_uniquely_named.txt

应该打印：

hello
world

而呼叫 cat file_uniquely_named.txt＆gt; file_uniquely_named.txt 在当前壳中：

printf "hello\nworld\n" > file_uniquely_named.txt && for ((i=0; i<1000; i++)); do cat file_uniquely_named.txt > file_uniquely_named.txt; done; cat file_uniquely_named.txt; rm file_uniquely_named.txt

打印一个空字符串。

我尚未在大文件（可能超过2或4 GB）上测试过。

我已经从 kos 。

Answer 8

一个班轮替代方案 - 将文件的内容设置为可变：

VAR=`cat file_name`; echo "$VAR"|grep -v 'seg[0-9]\{1,\}\.[0-9]\{1\}' > file_name

Answer 9

以下将完成与 Sponge 所做的事情相同的事情，而无需 moreutils ：

    shuf --output=file --random-source=/dev/zero 

- andural-source =/dev/dev/Zero part Tricks <代码> shuf 完全不进行任何改组，因此可以在不更改的情况下缓冲输入。

但是，出于性能原因，最好最好使用临时文件。因此，这是我写的一个功能，它将以一种广义的方式为您做到这一点：

# Pipes a file into a command, and pipes the output of that command
# back into the same file, ensuring that the file is not truncated.
# Parameters:
#    $1: the file.
#    $2: the command. (With $3... being its arguments.)
# See https://stackoverflow.com/a/55655338/773113

siphon()
{
    local tmp file rc=0
    [ "$#" -ge 2 ] || { echo "Usage: siphon filename [command...]" >&2; return 1; }
    file="$1"; shift
    tmp=$(mktemp -- "$file.XXXXXX") || return
    "$@" <"$file" >"$tmp" || rc=$?
    mv -- "$tmp" "$file" || rc=$(( rc | $? ))
    return "$rc"
}

Answer 10

在我面临的大多数情况下，这确实做得很好：

cat <<< "$(do_stuff_with f)" > f

请注意， $（…） strips trailing newlines，＆lt;＆lt;＆lt;＆lt; /em>最终的新线，因此总体而言，结果是神奇的令人满意的。
（在 MAN BASH 中查找“此处的字符串”，如果您想了解更多。）

完整示例：

#! /usr/bin/env bash

get_new_content() {
    sed 's/Initial/Final/g' "${1:?}"
}

echo 'Initial content.' > f
cat f

cat <<< "$(get_new_content f)" > f

cat f

这不会截断文件并产生：

Initial content.
Final content.

请注意，为了清楚起见，我在这里使用了一个函数可扩展性，但这不是必需的。

一个常见的用户酶是JSON Edition：

echo '{ "a": 12 }' > f
cat f
cat <<< "$(jq '.a = 24' f)" > f
cat f

Tures：

{ "a": 12 }
{
  "a": 24
}

Answer 11

还有 ed （作为 sed -i 的替代方案）：

# cf. http://wiki.bash-hackers.org/howto/edit-ed
printf '%s\n' H 'g/seg[0-9]\{1,\}\.[0-9]\{1\}/d' wq |  ed -s file_name

Answer 12

您可以将slurp与posix awk一起使用：

!/seg[0-9]\{1,\}\.[0-9]\{1\}/ {
  q = q ? q RS $0 : $0
}
END {
  print q > ARGV[1]
}

Answer 13

我通常使用 Tee 程序来做到这一点：

grep -v 'seg[0-9]\{1,\}\.[0-9]\{1\}' file_name | tee file_name

它可以创建和删除临时性。

Answer 14

尝试一下

echo -e "AAA\nBBB\nCCC" > testfile

cat testfile
AAA
BBB
CCC

echo "$(grep -v 'AAA' testfile)" > testfile
cat testfile
BBB
CCC