Python tarfile 进度

Question

在 python 中将文件添加到 tar 存档时是否有任何库可以显示进度，或者可以扩展 tarfile 模块的功能来执行此操作？

在理想的情况下，我想展示 tar 创建的总体进度以及何时完成的预计时间。

对此的任何帮助将不胜感激。

Answer 1

不幸的是，看起来没有一种简单的方法来获取逐字节数字。

您是否正在向此 tar 文件添加非常大的文件？如果没有，我将逐个文件更新进度，以便将文件添加到 tar 时，进度会根据每个文件的大小进行更新。

假设所有文件名都在变量 toadd 中，并且 tarfile 是一个 TarFile 对象。怎么样，

from itertools import imap
from operator import attrgetter
# you may want to change this depending on how you want to update the
# file info for your tarobjs
tarobjs = imap(tarfile.getattrinfo, toadd)
total = sum(imap(attrgetter('size'), tarobjs))
complete = 0.0
for tarobj in tarobjs:
    sys.stdout.write("\rPercent Complete: {0:2.0d}%".format(complete))
    tarfile.add(tarobj)
    complete += tarobj.size / total * 100
sys.stdout.write("\rPercent Complete: {0:2.0d}%\n".format(complete))
sys.stdout.write("Job Done!")

Answer 2

查找或编写一个类似于包装提供进度报告的真实文件的文件，并将其传递给 Tarfile.addfile() 以便您可以知道已请求包含在存档中的字节数。如果 Tarfile 尝试立即读取整个文件，您可能必须使用/实施限制。

Answer 3

我最近编写了一个提供进度回调的包装库。在 git hub 上查看它：

https://github.com/thomaspurchas/tarfile-Progress-记者

如果您需要帮助，请随时寻求帮助。

Answer 4

似乎您可以使用 tarfile.add() 的 filter 参数

with tarfile.open(<tarball path>, 'w') as tarball:
   tarball.add(<some file>, filter = my_filter)

def my_filter(tarinfo):
   #increment some count
   #add tarinfo.size to some byte counter
   return tarinfo

从 TarInfo 对象获取的所有信息都可供您使用。

Answer 5

如何将文件添加到 tar 文件中？是通过 recursive=True 的“add”吗？您可以自己构建文件列表，然后逐一调用“添加”，显示进度。如果您从流/文件构建，那么看起来您可以包装该 fileobj 以查看读取状态并将其传递到 addfile 中。

看起来您根本不需要修改 tarfile.py 。