Bash 读/写文件描述符——寻找文件开头

Question

我尝试在 bash 中使用读/写文件描述符，以便我可以删除文件描述符随后引用的文件，如下所示：

F=$(mktemp)
exec 3<> "$F"
rm -f "$F"

echo "Hello world" >&3
cat <&3

但是 cat 命令没有给出任何输出。如果我使用单独的文件描述符进行读取和写入，我可以实现我想要的目标：

F=$(mktemp)
exec 3> "$F"
exec 4< "$F"
rm -f "$F"

echo "Hello world" >&3
cat <&4

打印 Hello world。

我怀疑当您从写入切换到读取文件描述符时，bash 不会自动查找文件描述符的开头，并且 bash 和 python 代码的以下组合证实了这一点：

fdrw.sh

exec 3<> tmp
rm tmp

echo "Hello world" >&3
exec python fdrw.py

fdrw.py

import os  

f = os.fdopen(3)
print f.tell()
print f.read()

给出：

$ bash fdrw.sh
12

$ # This is the prompt reappearing

有没有办法只需使用 bash 即可实现我想要的目的？

Answer 1

我找到了一种在 bash 中执行此操作的方法，但它依赖于 exec exec 的一个不起眼的功能。 /dev/stdin 实际上可以根据 http://linux-ip.net/misc/madlug/shell-tips/tip-1.txt：

F=$(mktemp)
exec 3<> "$F"
rm -f "$F"

echo "Hello world" >&3
{ exec < /dev/stdin; cat; } <&3

写入描述符不受此影响，因此您仍然可以将输出附加到描述符 3在猫之前。

遗憾的是，即使使用最新的 bash 版本，我也只能在 Linux 下运行，而不是在 MacOS (BSD) 下运行。所以看起来不太便携。

Answer 2

如果您确实想要查找 bash 文件描述符，则可以使用子进程，因为它继承了父进程的文件描述符。下面是一个执行此操作的 C 程序示例。

搜索引擎

#define _FILE_OFFSET_BITS 64
#include <string.h>
#include <errno.h>
#include <stdio.h>
#include <stdlib.h>
#include <sys/types.h>
#include <unistd.h>

int main(int argc, char* argv[])
{
    /* Arguments: fd [offset [whence]]
     * where
     * fd: file descriptor to seek
     * offset: number of bytes from position specified in whence
     * whence: one of
     *  SEEK_SET (==0): from start of file
     *  SEEK_CUR (==1): from current position
     *  SEEK_END (==2): from end of file
     */
    int fd;
    long long scan_offset = 0;
    off_t offset = 0;
    int whence = SEEK_SET;
    int errsv; int rv;
    if (argc == 1) {
        fprintf(stderr, "usage: seekfd fd [offset [whence]]\n");
        exit(1);
    }
    if (argc >= 2) {
        if (sscanf(argv[1], "%d", &fd) == EOF) {
            errsv = errno;
            fprintf(stderr, "%s: %s\n", argv[0], strerror(errsv));
            exit(1);
        }
    }
    if (argc >= 3) {
        rv = sscanf(argv[2], "%lld", &scan_offset);
        if (rv == EOF) {
            errsv = errno;
            fprintf(stderr, "%s: %s\n", argv[0], strerror(errsv));
            exit(1);
        }
        offset = (off_t) scan_offset;
    }
    if (argc >= 4) {
        if (sscanf(argv[3], "%d", &whence) == EOF) {
            errsv = errno;
            fprintf(stderr, "%s: %s\n", argv[0], strerror(errsv));
            exit(1);
        }
    }

    if (lseek(fd, offset, whence) == (off_t) -1) {
        errsv = errno;
        fprintf(stderr, "%s: %s\n", argv[0], strerror(errsv));
        exit(2);
    }

    return 0;
}

Answer 3

不。bash 的重定向没有任何“寻找”的概念。它（大部分）在一个长流中从头到尾读取/写入。

Answer 4

尝试更改命令顺序：

F=$(mktemp tmp.XXXXXX)
exec 3<> "$F"
echo "Hello world" > "$F"
rm -f "$F"

#echo "Hello world" >&3
cat <&3

Answer 5

当您像这样在 bash 中打开文件描述符时，它可以作为 /dev/fd/ 中的文件进行访问。
对此，您可以执行 cat ，它会从头开始读取，或附加（echo "something" >> /dev/fd/3），然后它会将其添加到最后。
至少在我的系统上它是这样的。 （另一方面，即使我不对描述符进行任何写入，我似乎也无法让“cat <&3”工作）。

Answer 6

#!/bin/bash
F=$(mktemp tmp.XXXXXX)
exec 3<> $F
rm $F

echo "Hello world" >&3
cat /dev/fd/3

正如其他答案中所建议的， cat 会在读取文件描述符之前为您倒回文件描述符，因为它认为这只是一个普通文件。

Answer 7

要“倒回”文件描述符，您可以简单地使用 /proc/self/fd/3

测试脚本：

#!/bin/bash

# Fill data
FILE=test
date +%FT%T >$FILE

# Open the file descriptor and delete the file
exec 5<>$FILE
rm -rf $FILE

# Check state of the file
# should return an error as the file has been deleted
file $FILE

# Check that you still can do multiple reads or additions
for i in {0..5}; do
    echo ----- $i -----

    echo . >>/proc/self/fd/5
    cat /proc/self/fd/5

    echo
    sleep 1
done

尝试在脚本运行时杀死 -9 脚本，您将看到与发生的情况相反的情况使用trap方法，文件实际上被删除了。

Answer 8

扩展 @sanmai 的答案...

并确认正在发生的事情...

#/bin/bash
F=$(mktemp tmp.XXXXXX)
exec 3<>$F     # open the temporary file for read and write
rm $F          # delete file, though it remains on file system

echo "Hello world!" >&3    # Add a line to a file
cat /dev/fd/3              # Read the whole file
echo "Bye" >>/dev/fd/3     # Append another line
cat /dev/fd/3              # Read the whole file
echo "Goodbye" >&3         # Overwrite second line
cat /dev/fd/3              # Read the whole file

cat <&3                    # Try to Rewind (no output)
echo "Cruel World!" >&3    # Still adds a line on end
cat /dev/fd/3              # Read the whole file

shell_seek 3 6 0           # seek fd 3 to position 6
echo -n "Earth" >&3        # Overwrite 'World'
shell_seek 3               # rewind fd 3
cat <&3                    # Read the whole file put 3 at end

请注意，echo Goodbye 覆盖了第二行，因为文件描述符 &3 没有被猫更改！

所以我尝试使用 cat <&3 它没有输出任何内容，可能是因为文件描述符位于文件末尾。查看它是否倒回给定的描述符。事实并非如此。

最后一部分是使用提供、编译并命名为 shell_seek 的“C”程序，是的，它似乎可以工作，因为第一个“世界”被“地球”取代，倒带（寻求start）的工作允许最后一只猫再次读取整个文件。它会再次将 fd 放在文件末尾！

使用 perl 而不是 C 来完成它也不是那么困难。
例如perl -e 'open(FD,">&3"); eek(FD,0,0);' 会将文件描述符 3 倒回到文件的开头。

我现在已经制作了 shell_seek 的 perl 版本，因此我不必一直为不同的系统重新编译它。不仅如此，脚本还可以“告诉”您当前的文件描述符偏移量，并且还“截断”文件描述符指向的文件。这两种操作在使用查找时都很常用，因此包含这些函数似乎是个好主意。您可以从以下位置下载该脚本...
https://antofthy.gitlab.io/software/#shell_seek

Answer 9

您可以使用命名管道：

mkfifo pipeA 
exec 3<>pipeA 
rm pipeA

echo "Hello world" >&3
read x <&3
echo $x

echo "Hello world" >&3
cat <&3