Bash 管道：在第一行之后分割输入，在第一行和其余行上运行不同的命令

Question

我有一个备份脚本，它通过 ssh 复制文件并在传输过程中创建哈希文件。另外 pv 用于显示进度条：

ssh $host "cat '$src_dir/$filename'" \
    | pv --bytes --eta --progress --rate --timer --wait  $opts \
    | tee "$filename" \
    | sha1sum > "$filename.sha1"

为了正确显示进度条，我需要将文件的大小传递给 pv。目前我通过给出最后一个备份文件的大小来做到这一点。

重要的是，一切都通过 1 次 ssh 调用完成，因为我不想为 1 次备份授权多次。 SSH 密钥正在使用中，但使用密码进行保护。

我的想法是调用 ssh $host "stat -c%s '$src_dir/$filename'; cat '$src_dir/$filename'" 并在第一行之后分割输出。我可以读取文件大小，然后对其余输入调用 pv 。

备份脚本工作正常。这只是一个为了好玩的练习。任何想法都值得赞赏，但我不会完全重写整个脚本。特别是我不会切换到 scp 因为我无法在传输过程中进行哈希处理，而且我不想信任本地存储（当然我愿意，但是为什么我们要这样做）无论如何都要进行哈希处理吗？）。

更新：我最终这样做了：

ssh $host "cd '$src_dir' && stat -c%s '$filename' && sha1sum '$filename' && cat '$filename'" | {
        read size;
        head -n 1 > "$filename.sha1";
        pv --bytes --eta --progress --rate --size $size --timer --wait > "$filename"
    }

它工作完美，并且具有哈希值在远程站点计算的优点。因此，不仅在写入磁盘之前，而且在进行网络传输之前。

Answer 1

在此示例中，我在 OSX 上使用 stat，它使用 z 作为大小的格式字符串：

$ { stat -f %z input; cat input; } | { read s; echo $s; }

将第一个命令列表替换为您的 ssh 调用，并将 echo 替换为您的 pv 列表，然后就可以开始了。换句话说，您的最终命令应该是：

$ ssh $host "stat -c%s '$src_dir/$filename'; cat '$src_dir/$filename'" | {
    read size;
    pv --bytes --eta --progress --rate --timer --wait --size $size |
    tee "$filename" |
    sha1sum; } > "$filename.sha1"

我有几件事需要注意：我无权访问 pv 并且没有检查上述内容。
我用管道符号替换了你的续行，因为我认为
它看起来更好。

另一个想法：在管道的右侧，您可以这样做：

{ pv --bytes ... --size $( sed 1q ) |
...

这绝对依赖于 sed 不读取第一个换行符，我不知道是否有任何标准保证这一点，但它适用于...哦天哪，我的 sed 不支持 --version、-? 或 -h，而且我不太了解 OS X 的包管理系统，无法告诉你我正在运行什么 sed。它适用于某些版本的 BSD sed...