使用 tee （或等效项）但限制最大文件大小或旋转到新文件

Question

我想捕获 UNIX 进程的输出，但限制最大文件大小和/或旋转到新文件。

我见过 logrotate，但它不能实时工作。据我了解，这是一项并行运行的“清理”工作。

什么是正确的解决方案？我想我会编写一个小脚本来完成它，但我希望有一种使用现有文本工具的简单方法。

想象：

my_program | tee --max-bytes 100000 log/my_program_log

会给... 始终将最新日志文件写入为： log/my_program_log

然后，当它填充时...重命名为 log/my_program_log000001 并启动一个新的 log/my_program_log。

Answer 1

另一个解决方案是使用 Apacherotatelogs 实用程序。

或以下脚本：

#!/bin/ksh
#rotatelogs.sh -n numberOfFiles pathToLog fileSize[B|K|M|G]
numberOfFiles=10
while getopts "n:fltvecp:L:" opt; do
    case $opt in
  n) numberOfFiles="$OPTARG"
    if ! printf '%s\n' "$numberOfFiles" | grep '^[0-9][0-9]*
 >/dev/null;     then
      printf 'Numeric numberOfFiles required %s. rotatelogs.sh -n numberOfFiles pathToLog fileSize[B|K|M|G]\n' "$numberOfFiles" 1>&2
      exit 1
    elif [ $numberOfFiles -lt 3 ]; then
      printf 'numberOfFiles < 3 %s. rotatelogs.sh -n numberOfFiles pathToLog fileSize[B|K|M|G]\n' "$numberOfFiles" 1>&2
    fi
  ;;
  *) printf '-%s ignored. rotatelogs.sh -n numberOfFiles pathToLog fileSize[B|K|M|G]\n' "$opt" 1>&2
  ;;
  esac
done
shift $(( $OPTIND - 1 ))
pathToLog="$1"
fileSize="$2"
if ! printf '%s\n' "$fileSize" | grep '^[0-9][0-9]*[BKMG]
 >/dev/null; then
  printf 'Numeric fileSize followed by B|K|M|G required %s. rotatelogs.sh -n numberOfFiles pathToLog fileSize[B|K|M|G]\n' "$fileSize" 1>&2
  exit 1
fi
sizeQualifier=`printf "%s\n" "$fileSize" | sed "s%^[0-9][0-9]*\([BKMG]\)$%\1%"`
multip=1
case $sizeQualifier in
B) multip=1 ;;
K) multip=1024 ;;
M) multip=1048576 ;;
G) multip=1073741824 ;;
esac
fileSize=`printf "%s\n" "$fileSize" | sed "s%^\([0-9][0-9]*\)[BKMG]$%\1%"`
fileSize=$(( $fileSize * $multip ))
fileSize=$(( $fileSize / 1024 ))
if [ $fileSize -le 10 ]; then
  printf 'fileSize %sKB < 10KB. rotatelogs.sh -n numberOfFiles pathToLog fileSize[B|K|M|G]\n' "$fileSize" 1>&2
  exit 1
fi
if ! touch "$pathToLog"; then
  printf 'Could not write to log file %s. rotatelogs.sh -n numberOfFiles pathToLog fileSize[B|K|M|G]\n' "$pathToLog" 1>&2
  exit 1
fi
lineCnt=0
while read line
do
  printf "%s\n" "$line" >>"$pathToLog"
  lineCnt=$(( $lineCnt + 1 ))
  if [ $lineCnt -gt 200 ]; then
    lineCnt=0
    curFileSize=`du -k "$pathToLog" | sed -e 's/^[  ][  ]*//' -e 's%[   ][  ]*$%%' -e 's/[  ][  ]*/[    ]/g' | cut -f1 -d" "`
    if [ $curFileSize -gt $fileSize ]; then
      DATE=`date +%Y%m%d_%H%M%S`
      cat "$pathToLog" | gzip -c >"${pathToLog}.${DATE}".gz && cat /dev/null >"$pathToLog"
      curNumberOfFiles=`ls "$pathToLog".[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]_[0-9][0-9][0-9][0-9][0-9][0-9].gz | wc -l | sed -e 's/^[   ][  ]*//' -e 's%[   ][  ]*$%%' -e 's/[  ][  ]*/[    ]/g'`
      while [ $curNumberOfFiles -ge $numberOfFiles ]; do
        fileToRemove=`ls "$pathToLog".[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]_[0-9][0-9][0-9][0-9][0-9][0-9].gz | head -1`
        if [ -f "$fileToRemove" ]; then
          rm -f "$fileToRemove"
          curNumberOfFiles=`ls "$pathToLog".[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]_[0-9][0-9][0-9][0-9][0-9][0-9].gz | wc -l | sed -e 's/^[   ][  ]*//' -e 's%[   ][  ]*$%%' -e 's/[  ][  ]*/[    ]/g'`
        else
          break
        fi
      done
    fi
  fi
done

Answer 2

限制最大大小也可以通过 head 来完成：

my_program | head -c 100  # Limit to 100 first bytes

请参阅此内容以了解 dd 的优点：https://unix.stackexchange.com/a /121888/

Answer 3

使用 split:

my_program | tee >(split -d -b 100000 -)

或者如果你不想看到输出，你可以直接通过管道来 split:

my_program | split -d -b 100000 -

至于日志轮转，coreutils 中没有工具可以自动执行此操作。您可以创建一个符号链接并使用 bash 命令定期更新它：

while ((1)); do ln -fns target_log_name $(ls -t | head -1); sleep 1; done

Answer 4

在apache2-utils包中存在名为rotatelogs的实用程序，它完全满足您的要求。

概要：

rotatelogs [ -l ] [ -L 链接名称 ] [ -p 程序 ] [ -f ] [ -t ] [ -v ] [ -e ] [ -c ] [ -n 文件数量 ] 日志文件旋转时间|文件大小(B|K|M|G) [ 偏移量< /em> ]

示例：

your_program | rotatelogs -n 5 /var/log/logfile 1M

您可以在此链接上阅读完整手册。

Answer 5

或使用 awk

program | awk 'BEGIN{max=100} {n+=length($0); print $0 > "log."int(n/max)}'

它将行保持在一起，因此最大值不准确，但这可能很好，特别是对于日志记录目的。可以使用awk的sprintf来格式化文件名。

这是一个可 pipable 脚本，使用 awk

#!/bin/bash
maxb=$((1024*1024))    # default 1MiB
out="log"              # output file name
width=3                # width: log.001, log.002
while getopts "b:o:w:" opt; do
  case $opt in
    b ) maxb=$OPTARG;;
    o ) out="$OPTARG";;
    w ) width=$OPTARG;;
    * ) echo "Unimplented option."; exit 1
  esac
done
shift $(($OPTIND-1))

IFS='\n'              # keep leading whitespaces
if [ $# -ge 1 ]; then # read from file
  cat $1
else                  # read from pipe
  while read arg; do
    echo $arg
  done
fi | awk -v b=$maxb -v o="$out" -v w=$width '{
    n+=length($0); print $0 > sprintf("%s.%0.*d",o,w,n/b)}'

将其保存到名为“bee”的文件中，运行“chmod +x bee”，您可以将其用作

program | bee

或将现有文件拆分为

bee -b1000 -o proglog -w8 file

Answer 6

要将大小限制为 100 字节，可以简单地使用 dd：

my_program | dd bs=1 count=100 > log

写入 100 字节时，dd 将关闭管道，并且 my_program 接收 EPIPE。

Answer 7

解决这个问题最直接的方法可能是使用 python 和 日志模块 就是为此目的而设计的。创建一个从 stdin 读取并写入 stdout 的脚本，并实现下面描述的日志轮换。

“logging”模块提供它

class logging.handlers.RotatingFileHandler(filename, mode='a', maxBytes=0,
              backupCount=0, encoding=None, delay=0)

完全符合您的要求。

您可以使用 maxBytes 和 backupCount 值来允许文件以预定大小滚动。

来自 docs.python.org

有时您想让日志文件增长到一定大小，然后打开一个新文件并记录该文件。您可能希望保留一定数量的这些文件，当创建了那么多文件后，轮换这些文件，以便文件的数量和文件的大小都保持有限。对于这种使用模式，日志记录包提供了一个RotatingFileHandler：

import glob
import logging
import logging.handlers

LOG_FILENAME = 'logging_rotatingfile_example.out'

# Set up a specific logger with our desired output level
my_logger = logging.getLogger('MyLogger')
my_logger.setLevel(logging.DEBUG)

# Add the log message handler to the logger
handler = logging.handlers.RotatingFileHandler(
              LOG_FILENAME, maxBytes=20, backupCount=5)

my_logger.addHandler(handler)

# Log some messages
for i in range(20):
    my_logger.debug('i = %d' % i)

# See what files are created
logfiles = glob.glob('%s*' % LOG_FILENAME)

for filename in logfiles:
    print(filename)

结果应该是 6 个独立的文件，每个文件都包含应用程序的日志历史记录的一部分：

logging_rotatingfile_example.out
logging_rotatingfile_example.out.1
logging_rotatingfile_example.out.2
logging_rotatingfile_example.out.3
logging_rotatingfile_example.out.4
logging_rotatingfile_example.out.5

最新文件始终是logging_rotatingfile_example.out，并且每次达到大小限制时，都会使用后缀.1 对其进行重命名。每个现有备份文件都被重命名以增加后缀（.1 变为 .2 等），并且 .6 文件被删除。

显然，作为一个极端的例子，这个示例将日志长度设置得太小了。您需要将 maxBytes 设置为适当的值。