如何查看文件的更改？

Question

我有一个由另一个进程写入的日志文件，我想观察它的变化。 每次发生更改时，我都想读取新数据以对其进行一些处理。

最好的方法是什么？ 我希望 PyWin32 库中有某种钩子。 我找到了 win32file.FindNextChangeNotification 函数，但不知道如何要求它监视特定文件。

如果有人做过类似的事情，我将非常感激听到如何...

[编辑]我应该提到我正在寻求一个不需要轮询的解决方案。

[编辑]诅咒！ 这似乎不适用于映射的网络驱动器。 我猜测 Windows 不会像在本地磁盘上那样“听到”文件的任何更新。

Answer 1

似乎没有人发布fswatch。 它是一个跨平台的文件系统观察器。 只需安装、运行并按照提示操作即可。

我已经将它与 python 和 golang 程序一起使用，并且它可以正常工作。

Answer 2

ACTIONS = {
  1 : "Created",
  2 : "Deleted",
  3 : "Updated",
  4 : "Renamed from something",
  5 : "Renamed to something"
}
FILE_LIST_DIRECTORY = 0x0001

class myThread (threading.Thread):
    def __init__(self, threadID, fileName, directory, origin):
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.fileName = fileName
        self.daemon = True
        self.dir = directory
        self.originalFile = origin
    def run(self):
        startMonitor(self.fileName, self.dir, self.originalFile)

def startMonitor(fileMonitoring,dirPath,originalFile):
    hDir = win32file.CreateFile (
        dirPath,
        FILE_LIST_DIRECTORY,
        win32con.FILE_SHARE_READ | win32con.FILE_SHARE_WRITE,
        None,
        win32con.OPEN_EXISTING,
        win32con.FILE_FLAG_BACKUP_SEMANTICS,
        None
    )
    # Wait for new data and call ProcessNewData for each new chunk that's
    # written
    while 1:
        # Wait for a change to occur
        results = win32file.ReadDirectoryChangesW (
            hDir,
            1024,
            False,
            win32con.FILE_NOTIFY_CHANGE_LAST_WRITE,
            None,
            None
        )
        # For each change, check to see if it's updating the file we're
        # interested in
        for action, file_M in results:
            full_filename = os.path.join (dirPath, file_M)
            #print file, ACTIONS.get (action, "Unknown")
            if len(full_filename) == len(fileMonitoring) and action == 3:
                #copy to main file
                ...

Answer 3

由于我已在全球范围内安装了它，因此我最喜欢的方法是使用 nodemon。 如果您的源代码位于 src 中，并且您的入口点是 src/app.py，那么就很简单：

nodemon -w 'src/**' -e py,html --exec python src/app.py

... where -e py, html 允许您控制要监视更改的文件类型。

Answer 4

只是为了指出这一点，因为没有人提到它：标准库中有一个名为 filecmp 的 Python 模块，它具有比较两个文件的 cmp() 函数。

只需确保您不执行 from filecmp import cmp 即可，以免掩盖 Python 2.x 中的内置 cmp() 函数。 不过，在 Python 3.x 中这没问题，因为不再有这样的内置 cmp() 函数。

无论如何，它的使用方式如下：

import filecmp
filecmp.cmp(path_to_file_1, path_to_file_2, shallow=True)

参数shallow默认为True。 如果参数的值为True，则仅比较文件的元数据； 但是，如果参数的值为 False，则比较文件的内容。

也许这些信息对某人有用。

Answer 5

下面是一个用于观察每秒写入不超过一行但通常少得多的输入文件的示例。 目标是将最后一行（最近写入）附加到指定的输出文件。 我从我的一个项目中复制了这一行，然后删除了所有不相关的行。 您必须填写或更改缺少的符号。

from PyQt5.QtCore import QFileSystemWatcher, QSettings, QThread
from ui_main_window import Ui_MainWindow   # Qt Creator gen'd 

class MainWindow(QMainWindow, Ui_MainWindow):
    def __init__(self, parent=None):
        QMainWindow.__init__(self, parent)
        Ui_MainWindow.__init__(self)
        self._fileWatcher = QFileSystemWatcher()
        self._fileWatcher.fileChanged.connect(self.fileChanged)

    def fileChanged(self, filepath):
        QThread.msleep(300)    # Reqd on some machines, give chance for write to complete
        # ^^ About to test this, may need more sophisticated solution
        with open(filepath) as file:
            lastLine = list(file)[-1]
        destPath = self._filemap[filepath]['dest file']
        with open(destPath, 'a') as out_file:               # a= append
            out_file.writelines([lastLine])

当然，并不严格要求包含 QMainWindow 类，即。 您可以单独使用 QFileSystemWatcher。

Answer 6

watchfiles (https://github.com/samuelcolvin/watchfiles) 是一个 Python API 和 CLI，它使用Notify (https://github.com/notify-rs/notify) 库编写于锈。

目前（2022-10-09）的 rust 实现支持：

• Linux / Android：inotify
• macOS：FSEvents 或 kqueue，请参阅功能
• Windows：ReadDirectoryChangesW
• FreeBSD / NetBSD / OpenBSD / DragonflyBSD：kqueue
• 所有平台：轮询

PyPI 上可用的二进制文件（https://pypi.org/project/watchfiles/) 和 conda-forge (https://github.com/conda-forge/watchfiles-feedstock）。

Answer 7

您还可以使用一个名为 repyt 的简单库，以下是一个示例：

repyt ./app.py

Answer 8

相关@4Oh4解决方案平滑更改要观看的文件列表；

import os
import sys
import time

class Watcher(object):
    running = True
    refresh_delay_secs = 1

    # Constructor
    def __init__(self, watch_files, call_func_on_change=None, *args, **kwargs):
        self._cached_stamp = 0
        self._cached_stamp_files = {}
        self.filenames = watch_files
        self.call_func_on_change = call_func_on_change
        self.args = args
        self.kwargs = kwargs

    # Look for changes
    def look(self):
        for file in self.filenames:
            stamp = os.stat(file).st_mtime
            if not file in self._cached_stamp_files:
                self._cached_stamp_files[file] = 0
            if stamp != self._cached_stamp_files[file]:
                self._cached_stamp_files[file] = stamp
                # File has changed, so do something...
                file_to_read = open(file, 'r')
                value = file_to_read.read()
                print("value from file", value)
                file_to_read.seek(0)
                if self.call_func_on_change is not None:
                    self.call_func_on_change(*self.args, **self.kwargs)

    # Keep watching in a loop
    def watch(self):
        while self.running:
            try:
                # Look for changes
                time.sleep(self.refresh_delay_secs)
                self.look()
            except KeyboardInterrupt:
                print('\nDone')
                break
            except FileNotFoundError:
                # Action on file not found
                pass
            except Exception as e:
                print(e)
                print('Unhandled error: %s' % sys.exc_info()[0])

# Call this function each time a change happens
def custom_action(text):
    print(text)
    # pass

watch_files = ['/Users/mexekanez/my_file.txt', '/Users/mexekanez/my_file1.txt']

# watcher = Watcher(watch_file)  # simple



if __name__ == "__main__":
    watcher = Watcher(watch_files, custom_action, text='yes, changed')  # also call custom action function
    watcher.watch()  # start the watch going

Answer 9

最好、最简单的解决方案是使用 pygtail：
https://pypi.python.org/pypi/pygtail

from pygtail import Pygtail
import sys

while True:
    for line in Pygtail("some.log"):
        sys.stdout.write(line)

Answer 10

import inotify.adapters
from datetime import datetime


LOG_FILE='/var/log/mysql/server_audit.log'


def main():
    start_time = datetime.now()
    while True:
        i = inotify.adapters.Inotify()
        i.add_watch(LOG_FILE)
        for event in i.event_gen(yield_nones=False):
            break
        del i

        with open(LOG_FILE, 'r') as f:
            for line in f:
                entry = line.split(',')
                entry_time = datetime.strptime(entry[0],
                                               '%Y%m%d %H:%M:%S')
                if entry_time > start_time:
                    start_time = entry_time
                    print(entry)


if __name__ == '__main__':
    main()

Answer 11

最简单的解决方案是在一段时间后获取同一文件的两个实例并比较它们。 你可以尝试这样的事情

    while True:
        # Capturing the two instances models.py after certain interval of time
        print("Looking for changes in " + app_name.capitalize() + " models.py\nPress 'CTRL + C' to stop the program")
        with open(app_name.capitalize() + '/filename', 'r+') as app_models_file:
            filename_content = app_models_file.read()
        time.sleep(5)
        with open(app_name.capitalize() + '/filename', 'r+') as app_models_file_1:
            filename_content_1 = app_models_file_1.read()
        # Comparing models.py after certain interval of time
        if filename_content == filename_content_1:
            pass
        else:
            print("You made a change in " + app_name.capitalize() + " filename.\n")
            cmd = str(input("Do something with the file?(y/n):"))
            if cmd == 'y':
                # Do Something
            elif cmd == 'n':
                # pass or do something
            else:
                print("Invalid input")

Answer 12

如果您使用的是 Windows，请创建此 POLL.CMD 文件，

@echo off
:top
xcopy /m /y %1 %2 | find /v "File(s) copied"
timeout /T 1 > nul
goto :top

然后您可以键入“poll dir1 dir2”，它将把所有文件从 dir1 复制到 dir2 并每秒检查一次更新。

“查找”是可选的，只是为了减少控制台的噪音。

这不是递归的。 也许你可以在 xcopy 上使用 /e 使其递归。

Answer 13

我不知道任何 Windows 特定功能。 您可以尝试每秒/每分钟/每小时获取文件的 MD5 哈希值（取决于您需要的速度）并将其与最后一个哈希值进行比较。 当它不同时，您知道文件已更改，并且您可以读出最新的行。

Answer 14

我会尝试这样的事情。

    try:
            f = open(filePath)
    except IOError:
            print "No such file: %s" % filePath
            raw_input("Press Enter to close window")
    try:
            lines = f.readlines()
            while True:
                    line = f.readline()
                    try:
                            if not line:
                                    time.sleep(1)
                            else:
                                    functionThatAnalisesTheLine(line)
                    except Exception, e:
                            # handle the exception somehow (for example, log the trace) and raise the same exception again
                            raw_input("Press Enter to close window")
                            raise e
    finally:
            f.close()

该循环检查自上次读取文件以来是否有新行 - 如果有，则读取该行并将其传递给 functionThatAnalisesTheLine 函数。 如果没有，脚本将等待 1 秒并重试该过程。

Answer 15

查看 pyinotify。

inotify 在较新的 linux 中取代了 dnotify（来自早期的答案），并允许文件级而不是目录级监视。

Answer 16

为了观看具有轮询和最小依赖性的单个文件，这里有一个完全充实的示例，基于 Deestan 的答案（多于）：

import os
import sys 
import time

class Watcher(object):
    running = True
    refresh_delay_secs = 1

    # Constructor
    def __init__(self, watch_file, call_func_on_change=None, *args, **kwargs):
        self._cached_stamp = 0
        self.filename = watch_file
        self.call_func_on_change = call_func_on_change
        self.args = args
        self.kwargs = kwargs

    # Look for changes
    def look(self):
        stamp = os.stat(self.filename).st_mtime
        if stamp != self._cached_stamp:
            self._cached_stamp = stamp
            # File has changed, so do something...
            print('File changed')
            if self.call_func_on_change is not None:
                self.call_func_on_change(*self.args, **self.kwargs)

    # Keep watching in a loop        
    def watch(self):
        while self.running: 
            try: 
                # Look for changes
                time.sleep(self.refresh_delay_secs) 
                self.look() 
            except KeyboardInterrupt: 
                print('\nDone') 
                break 
            except FileNotFoundError:
                # Action on file not found
                pass
            except: 
                print('Unhandled error: %s' % sys.exc_info()[0])

# Call this function each time a change happens
def custom_action(text):
    print(text)

watch_file = 'my_file.txt'

# watcher = Watcher(watch_file)  # simple
watcher = Watcher(watch_file, custom_action, text='yes, changed')  # also call custom action function
watcher.watch()  # start the watch going

Answer 17

在对蒂姆·戈尔登的脚本进行了一些修改之后，我得到了以下似乎工作得很好的内容：

import os

import win32file
import win32con

path_to_watch = "." # look at the current directory
file_to_watch = "test.txt" # look for changes to a file called test.txt

def ProcessNewData( newData ):
    print "Text added: %s"%newData

# Set up the bits we'll need for output
ACTIONS = {
  1 : "Created",
  2 : "Deleted",
  3 : "Updated",
  4 : "Renamed from something",
  5 : "Renamed to something"
}
FILE_LIST_DIRECTORY = 0x0001
hDir = win32file.CreateFile (
  path_to_watch,
  FILE_LIST_DIRECTORY,
  win32con.FILE_SHARE_READ | win32con.FILE_SHARE_WRITE,
  None,
  win32con.OPEN_EXISTING,
  win32con.FILE_FLAG_BACKUP_SEMANTICS,
  None
)

# Open the file we're interested in
a = open(file_to_watch, "r")

# Throw away any exising log data
a.read()

# Wait for new data and call ProcessNewData for each new chunk that's written
while 1:
  # Wait for a change to occur
  results = win32file.ReadDirectoryChangesW (
    hDir,
    1024,
    False,
    win32con.FILE_NOTIFY_CHANGE_LAST_WRITE,
    None,
    None
  )

  # For each change, check to see if it's updating the file we're interested in
  for action, file in results:
    full_filename = os.path.join (path_to_watch, file)
    #print file, ACTIONS.get (action, "Unknown")
    if file == file_to_watch:
        newText = a.read()
        if newText != "":
            ProcessNewData( newText )

它可能可以通过加载更多错误检查来完成，但只是为了简单地观看日志文件并在吐出它之前对其进行一些处理到屏幕上，效果很好。

感谢大家的意见 - 很棒的东西！

Answer 18

检查我的回答类似问题。 您可以在 Python 中尝试相同的循环。 此页面建议：

import time

while 1:
    where = file.tell()
    line = file.readline()
    if not line:
        time.sleep(1)
        file.seek(where)
    else:
        print line, # already has newline

另请参阅问题tail() 使用 Python 的文件。

Answer 19

下面是 Kender 代码的简化版本，它似乎执行相同的操作，并且不会导入整个文件：

# Check file for new data.

import time

f = open(r'c:\temp\test.txt', 'r')

while True:

    line = f.readline()
    if not line:
        time.sleep(1)
        print 'Nothing New'
    else:
        print 'Call Function: ', line

Answer 20

这是 Tim Goldan 脚本的另一个修改，该脚本在 unix 类型上运行，并通过使用 dict (file=>time) 添加了一个用于文件修改的简单监视程序。

用法：whateverName.py path_to_dir_to_watch

#!/usr/bin/env python

import os, sys, time

def files_to_timestamp(path):
    files = [os.path.join(path, f) for f in os.listdir(path)]
    return dict ([(f, os.path.getmtime(f)) for f in files])

if __name__ == "__main__":

    path_to_watch = sys.argv[1]
    print('Watching {}..'.format(path_to_watch))

    before = files_to_timestamp(path_to_watch)

    while 1:
        time.sleep (2)
        after = files_to_timestamp(path_to_watch)

        added = [f for f in after.keys() if not f in before.keys()]
        removed = [f for f in before.keys() if not f in after.keys()]
        modified = []

        for f in before.keys():
            if not f in removed:
                if os.path.getmtime(f) != before.get(f):
                    modified.append(f)

        if added: print('Added: {}'.format(', '.join(added)))
        if removed: print('Removed: {}'.format(', '.join(removed)))
        if modified: print('Modified: {}'.format(', '.join(modified)))

        before = after

Answer 21

对我来说最简单的解决方案是使用看门狗的工具 watchmedo

来自 https://pypi.python.org/pypi/watchdog 我现在有一个进程可以在目录中查找 sql 文件并在必要时执行它们。

watchmedo shell-command \
--patterns="*.sql" \
--recursive \
--command='~/Desktop/load_files_into_mysql_database.sh' \
.

Answer 22

好吧，既然您使用的是 Python，您只需打开一个文件并继续从中读取行即可。

f = open('file.log')

如果读取的行非空，则对其进行处理。

line = f.readline()
if line:
    // Do what you want with the line

您可能忽略了在 EOF 处继续调用 readline 是可以的。 在这种情况下，它只会继续返回空字符串。 当某些内容被附加到日志文件时，读取将根据您的需要从停止的地方继续。

如果您正在寻找使用事件或特定库的解决方案，请在您的问题中指定。 否则，我认为这个解决方案很好。

Answer 23

正如您在 Tim Golden 的文章中看到的，由 Horst Gutmann，WIN32相对复杂，并且监视目录，而不是单个文件。

我建议您研究一下IronPython，它是.NET python 实现。
通过 IronPython，您可以使用所有 .NET 功能 - 包括

System.IO.FileSystemWatcher

使用简单的 Event 接口处理单个文件。

Answer 24

这是检查文件更改的示例。 这可能不是最好的方法，但它确实是一种捷径。

当源代码发生更改时，用于重新启动应用程序的便捷工具。 我在玩 pygame 时做了这个，这样我就可以看到文件保存后立即发生的效果。

当在 pygame 中使用时，请确保将“while”循环中的内容放置在游戏循环中，即更新或其他内容。 否则您的应用程序将陷入无限循环，并且您将看不到游戏更新。

file_size_stored = os.stat('neuron.py').st_size

  while True:
    try:
      file_size_current = os.stat('neuron.py').st_size
      if file_size_stored != file_size_current:
        restart_program()
    except: 
      pass

如果您想要我在网上找到的重启代码。 这里是。 （与问题无关，尽管它可能会派上用场）

def restart_program(): #restart application
    python = sys.executable
    os.execl(python, python, * sys.argv)

让电子做你想让它们做的事情，享受乐趣。

Answer 25

您是否尝试过使用Watchdog？

用于监视文件系统事件的 Python API 库和 shell 实用程序。

目录监控变得简单

• 跨平台 API。
• 一个 shell 工具，用于运行命令来响应目录更改。

通过快速入门中的简单示例快速入门...

Answer 26

如果轮询对您来说足够好，我只是观察“修改时间”文件统计信息是否发生变化。 阅读它：（

os.stat(filename).st_mtime

另请注意，Windows 本机更改事件解决方案并非在所有情况下都有效，例如在网络驱动器上。）

import os

class Monkey(object):
    def __init__(self):
        self._cached_stamp = 0
        self.filename = '/path/to/file'

    def ook(self):
        stamp = os.stat(self.filename).st_mtime
        if stamp != self._cached_stamp:
            self._cached_stamp = stamp
            # File has changed, so do something...

Answer 27

如果您想要多平台解决方案，请检查 QFileSystemWatcher。
这里是一个示例代码（未清理）：

from PyQt4 import QtCore

@QtCore.pyqtSlot(str)
def directory_changed(path):
    print('Directory Changed!!!')

@QtCore.pyqtSlot(str)
def file_changed(path):
    print('File Changed!!!')

fs_watcher = QtCore.QFileSystemWatcher(['/path/to/files_1', '/path/to/files_2', '/path/to/files_3'])

fs_watcher.connect(fs_watcher, QtCore.SIGNAL('directoryChanged(QString)'), directory_changed)
fs_watcher.connect(fs_watcher, QtCore.SIGNAL('fileChanged(QString)'), file_changed)

Answer 28

它不应该在 Windows 上工作（也许使用 cygwin ？），但对于 unix 用户，您应该使用“fcntl”系统调用。 这是一个 Python 示例。 如果您需要用 C 语言编写（相同的函数名称），那么它基本上是相同的代码

import time
import fcntl
import os
import signal

FNAME = "/HOME/TOTO/FILETOWATCH"

def handler(signum, frame):
    print "File %s modified" % (FNAME,)

signal.signal(signal.SIGIO, handler)
fd = os.open(FNAME,  os.O_RDONLY)
fcntl.fcntl(fd, fcntl.F_SETSIG, 0)
fcntl.fcntl(fd, fcntl.F_NOTIFY,
            fcntl.DN_MODIFY | fcntl.DN_CREATE | fcntl.DN_MULTISHOT)

while True:
    time.sleep(10000)