是否有 Unix 实用程序可以将时间戳添加到标准输入？

Question

我最终用 Python 编写了一个快速的小脚本，但我想知道是否有一个实用程序可以将文本输入其中，在每行前面添加一些文本 - 在我的具体情况下，是时间戳。 理想情况下，用法如下：（

cat somefile.txt | prepend-timestamp

在回答 sed 之前，我尝试了以下操作：

cat somefile.txt | sed "s/^/`date`/"

但这仅在执行 sed 时计算一次 date 命令，因此相同的时间戳错误地添加到每行前面。）

Answer 1

来自 moreutils 的 ts 将为每行输入添加时间戳你给它。 您也可以使用 strftime 对其进行格式化。

$ echo 'foo bar baz' | ts
Mar 21 18:07:28 foo bar baz
$ echo 'blah blah blah' | ts '%F %T'
2012-03-21 18:07:30 blah blah blah
$ 

要安装它：

sudo apt-get install moreutils

Answer 2

注释，可通过该链接或作为 annotate-output 在 Debian devscripts 包中。

$ echo -e "a\nb\nc" > lines
$ annotate-output cat lines
17:00:47 I: Started cat lines
17:00:47 O: a
17:00:47 O: b
17:00:47 O: c
17:00:47 I: Finished with exitcode 0

Answer 3

可以尝试使用 awk：

<command> | awk '{ print strftime("%Y-%m-%d %H:%M:%S"), $0; fflush(); }'

您可能需要确保 产生行缓冲输出，即它在每行之后刷新其输出流； awk 添加的时间戳将是该行末尾出现在其输入管道上的时间。

如果 awk 显示错误，请尝试使用 gawk。

Answer 4

无需在 strftime() 中指定所有参数，除非您确实想要自定义输出格式：

   echo "abc 123 xyz\njan 765 feb" \
    \
    | gawk -Sbe 'BEGIN {_=strftime()" "} sub("^",_)'

    Sat Apr  9 13:14:53 EDT 2022 abc 123 xyz
    Sat Apr  9 13:14:53 EDT 2022 jan 765 feb

如果您有 mawk 1.3.4，则效果相同。 即使在 上>awk-没有时间特征的变体，快速 getline 可以模拟它：

echo "abc 123 xyz\njan 765 feb" \
\
| mawk2 'BEGIN {     (__="date")|getline _;
                close(__)
                        _=_" " } sub("^",_)'
   
Sat Apr  9 13:19:38 EDT 2022 abc 123 xyz
Sat Apr  9 13:19:38 EDT 2022 jan 765 feb

如果你想跳过所有 getline 和 BEGIN { }，那么像这样：

mawk2 'sub("^",_" ")' \_="$(date)"

Answer 5

如果您在每一行前面添加的值都相同，请使用该文件启动 emacs，然后：

Ctrl +

在文件的开头（标记该位置），然后向下滚动到最后一行的开头（Alt + > 将转到文件末尾...这可能也涉及 Shift 键，然后 Ctrl + a 转到开头该行）和：

Ctrl + x r t

这是要在您刚刚插入的矩形处插入的命令指定（宽度为 0 的矩形）。

2008-8-21 6:45PM <进入>

或者您想要添加的任何内容...然后您将看到该文本添加到 0 宽度矩形内的每一行。

更新：我刚刚意识到你不想要相同的日期，所以这不起作用......虽然你可以在 emacs 中使用稍微复杂的自定义宏来完成此操作，但是，这种矩形编辑仍然是很高兴知道...

Answer 6

Kieron 的答案是迄今为止最好的答案。 如果由于第一个程序正在缓冲其输出而遇到问题，您可以使用 unbuffer 程序：

unbuffer <command> | awk '{ print strftime("%Y-%m-%d %H:%M:%S"), $0; }'

它默认安装在大多数 Linux 系统上。 如果您需要自己构建它，它是expect包的一部分

http://expect.nist.gov

Answer 7

将给出的答案提炼为最简单的答案：

unbuffer $COMMAND | ts

在 Ubuntu 上，它们来自 Expect-dev 和 moreutils 软件包。

sudo apt-get install expect-dev moreutils

Answer 8

这个怎么样？

cat somefile.txt | perl -pne 'print scalar(localtime()), " ";'

从您想要获取实时时间戳的愿望来看，也许您想对日志文件或其他内容进行实时更新？ 或许

tail -f /path/to/log | perl -pne 'print scalar(localtime()), " ";' > /path/to/log-with-timestamps

Answer 9

只是想把这个扔出去：daemontools中有一对名为tai64n 和 tai64nlocal 用于前置记录消息的时间戳。

例子：

cat file | tai64n | tai64nlocal

Answer 10

这是我的 awk 解决方案（来自 Windows/XP 系统，MKS Tools 安装在 C:\bin 目录中）。 它旨在以 mm/dd hh:mm 的形式将当前日期和时间添加到每行的开头，并在读取每行时从系统获取时间戳。 当然，您可以使用 BEGIN 模式来获取时间戳一次并将该时间戳添加到每个记录中（都一样）。 我这样做是为了使用生成日志消息时的时间戳来标记正在生成到标准输出的日志文件。

/"pattern"/ "C\:\\\\bin\\\\date '+%m/%d %R'" | 获取行时间戳；
print timestamp, $0;

其中“pattern”是要在输入行中匹配的字符串或正则表达式（不带引号），如果您希望匹配所有输入行，则该模式是可选的。

这也应该适用于 Linux/UNIX 系统，只需去掉 C\:\\bin\\ 留下该行

             "date '+%m/%d %R'" | getline timestamp;

当然，假设命令“date”让您进入标准的 Linux/UNIX 日期显示/ set命令没有具体的路径信息（即你的环境PATH变量配置正确）。

Answer 11

$ cat somefile.txt |   sed "s/^/`日期`/" 
  

你可以这样做（使用gnu/sed）：

$ some-command | sed "x;s/.*/date +%T/e;G;s/\n/ /g"

示例：

$ { echo 'line1'; sleep 2; echo 'line2'; } | sed "x;s/.*/date +%T/e;G;s/\n/ /g"
20:24:22 line1
20:24:24 line2

当然，你可以使用程序的其他选项日期。 只需将 date +%T 替换为您需要的内容即可。

Answer 12

#! /bin/sh
unbuffer "$@" | perl -e '
use Time::HiRes (gettimeofday);
while(<>) {
        ($s,$ms) = gettimeofday();
        print $s . "." . $ms . " " . $_;
}'

Answer 13

我不是 Unix 爱好者，但我认为你可以使用

gawk '{print strftime("%d/%m/%y",systime()) $0 }' < somefile.txt

Answer 14

使用 read(1) 命令从标准输入中一次读取一行，然后使用 date(1) 以您选择的格式输出前置有日期的行。

$ cat timestamp
#!/bin/sh
while read line
do
  echo `date` $line
done
$ cat somefile.txt | ./timestamp

Answer 15

其他答案大多有效，但有一些缺点。 特别是：

1. 许多要求安装 L​​inux 系统上不常见的命令，这可能是不可能或不方便的。
2. 由于它们使用管道，因此它们不会在 stderr 上放置时间戳，并且会丢失退出状态。
3. 如果对 stderr 和 stdout 使用多个管道，则有些管道没有原子打印，导致输出的混合行，例如 [timestamp] [timestamp] stdout line \nstderr line
4. 缓冲可能会导致问题，并且 < code>unbuffer 需要额外的依赖项。

为了解决（4），我们可以使用大多数Linux系统上普遍可用的stdbuf -i0 -o0 -e0（参见如何使任何 shell 命令的输出不缓冲？）。

要解决（3）问题，您只需小心地一次打印整行即可。

• 错误：ruby -pe 'print Time.now.strftime(\"[%Y-%m-%d %H:%M:%S] \")' （打印时间戳，然后打印 $_ 的内容。）
• 好：ruby -pe '\$_ = Time.now.strftime(\"[%Y-%m-%d %H:%M :%S] \") + \$_' （改变$_，然后打印它。）

为了解决（2），我们需要使用多个管道并保存退出状态：

alias tslines-pipe="stdbuf -i0 -o0 ruby -pe '\$_ = Time.now.strftime(\"[%Y-%m-%d %H:%M:%S] \") + \$_'"
function tslines() (
  stdbuf -o0 -e0 "$@" 2> >(tslines-pipe) > >(tslines-pipe)
  status="$?"
  exit $status
)

然后您可以使用 tslines some command --options 运行命令。

这几乎有效，只是有时其中一个管道需要稍长的时间才能退出，并且tslines函数已退出，因此已打印下一个提示。 例如，此命令似乎在出现下一行提示后打印所有输出，这可能有点令人困惑：

tslines bash -c '(for (( i=1; i<=20; i++ )); do echo stderr 1>&2; echo stdout;  done)'

两个管道进程和 tslines 函数之间需要某种协调方法。 想必有很多方法可以做到这一点。 我发现的一种方法是让管道向主函数可以侦听的管道发送一些行，并且只有在从两个管道处理程序接收到数据后才退出。 综合起来：

alias tslines-pipe="stdbuf -i0 -o0 ruby -pe '\$_ = Time.now.strftime(\"[%Y-%m-%d %H:%M:%S] \") + \$_'"
function tslines() (
  # Pick a random name for the pipe to prevent collisions.
  pipe="/tmp/pipe-$RANDOM"
  
  # Ensure the pipe gets deleted when the method exits.
  trap "rm -f $pipe" EXIT

  # Create the pipe.  See https://www.linuxjournal.com/content/using-named-pipes-fifos-bash
  mkfifo "$pipe"
  # echo will block until the pipe is read.
  stdbuf -o0 -e0 "$@" 2> >(tslines-pipe; echo "done" >> $pipe) > >(tslines-pipe; echo "done" >> $pipe)
  status="$?"

  # Wait until we've received data from both pipe commands before exiting.
  linecount=0
  while [[ $linecount -lt 2 ]]; do
    read line
    if [[ "$line" == "done" ]]; then
      ((linecount++))
    fi
  done < "$pipe"
  exit $status
)

同步机制感觉有点复杂； 希望有一种更简单的方法来做到这一点。

Answer 16

免责声明：我提出的解决方案不是 Unix 内置实用程序。

几天前我遇到了类似的问题。 我不喜欢上述解决方案的语法和限制，所以我很快用 Go 编写了一个程序来帮我完成这项工作。

您可以在此处查看该工具： preftime

有针对 Linux 的预构建可执行文件， MacOS 和 Windows 位于 GitHub 项目的 发布 部分。

该工具可以处理不完整的输出行，并且（从我的角度来看）具有更紧凑的语法。

<代码><命令>; | preftime

这并不理想，但我想我会分享它，以防它对某人有帮助。

Answer 17

在 OSX 上使用 date 和 tr 和 xargs 执行此操作：

alias predate="xargs -I{} sh -c 'date +\"%Y-%m-%d %H:%M:%S\" | tr \"\n\" \" \"; echo \"{}\"'"
<command> | predate

如果您想要毫秒：

alias predate="xargs -I{} sh -c 'date +\"%Y-%m-%d %H:%M:%S.%3N\" | tr \"\n\" \" \"; echo \"{}\"'"

但请注意，在 OSX 上，date 不会为您提供%N 选项，所以你需要安装 gdate (brew install coreutils)，最终得到这个：

alias predate="xargs -I{} sh -c 'gdate +\"%Y-%m-%d %H:%M:%S.%3N\" | tr \"\n\" \" \"; echo \"{}\"'"

Answer 18

混合上面 natevw 和 Frank Ch. 的一些答案。 艾格勒。

它有几毫秒，比每次调用外部date命令执行得更好，而且大多数服务器中都可以找到perl。

tail -f log | perl -pne '
  use Time::HiRes (gettimeofday);
  use POSIX qw(strftime);
  ($s,$ms) = gettimeofday();
  print strftime "%Y-%m-%dT%H:%M:%S+$ms ", gmtime($s);
  '

具有刷新和循环读取的替代版本：

tail -f log | perl -pne '
  use Time::HiRes (gettimeofday); use POSIX qw(strftime);
  $|=1;
  while(<>) {
    ($s,$ms) = gettimeofday();
    print strftime "%Y-%m-%dT%H:%M:%S+$ms $_", gmtime($s);
  }'

Answer 19

caerwyn 的答案可以作为子例程运行，这将阻止每行新进程：

timestamp(){
   while read line
      do
         echo `date` $line
      done
}

echo testing 123 |timestamp