如何为大日志文件编写 Java 文本文件查看器

Question

我正在开发带有集成日志文件查看器的软件产品。问题是，对于非常大的文件来说，它缓慢且不稳定，因为当您查看日志文件时，它会将整个文件读取到内存中。我想编写一个新的日志文件查看器来解决这个问题。

为大型文本文件编写查看器的最佳实践是什么？像notepad++和VIM这样的编辑器是如何完成这个任务的呢？我正在考虑将缓冲双向文本流阅读器与 Java 的 TableModel 一起使用。我的想法是否正确？这种流实现可用于 Java 吗？

编辑：是否值得运行一次文件来索引每行文本的开头位置，以便知道要查找的位置？我可能需要行数，所以可能必须至少扫描一次文件？

Edit2：我已将我的实现添加到下面的答案中。请对其发表评论或编辑它，以帮助我/我们实现更最佳实践的实施，或以其他方式提供您自己的实施。

Answer 1

我不确定 NotePad++ 实际上实现了随机访问，但我认为这是可行的方法，尤其是使用日志文件查看器时，这意味着它将是只读的。

由于您的日志查看器是只读的，因此您可以使用只读 随机访问内存映射文件“流”。在 Java 中，这是 FileChannel。

然后根据需要在文件中跳转，并将数据的滚动窗口渲染到屏幕上。

FileChannel 的优点之一是并发线程可以打开文件，并且读取不会影响当前文件指针。因此，如果您在另一个线程中附加到日志文件，它不会受到影响。

另一个优点是您可以随时调用 FileChannel 的 size 方法来获取文件大小。

将内存直接映射到随机访问文件（某些文本编辑器（例如 HxD 和 UltraEdit）允许）的问题是任何更改都会直接影响文件。因此，更改是立即的（写入缓存除外），这是用户通常不希望发生的事情。相反，用户通常不希望进行更改，直到单击“保存”。但是，由于这只是一个查看器，因此您不会有同样的担忧。

Answer 2

一种典型的方法是使用可查找的文件读取器，遍历记录行偏移索引的日志，然后根据请求仅在文件的一部分上显示一个窗口。

这既减少了快速调用所需的数据，又不会加载 99% 的内容当前不可见的小部件。

Answer 3

我在这里发布了我的测试实现（在遵循 Marcus Adams 和 MSW 的建议之后），以方便您的使用，也为了进一步的评论和批评。它的速度相当快。

我不关心 Unicode 编码的安全性。我想这将是我的下一个问题。任何有关这方面的提示都非常受欢迎。

class LogFileTableModel implements TableModel {

    private final File f;
    private final int lineCount;
    private final String errMsg;
    private final Long[] index;
    private final ByteBuffer linebuf = ByteBuffer.allocate(1024);
    private FileChannel chan;

    public LogFileTableModel(String filename) {
        f = new File(filename);
        String m;
        int l = 1;
        Long[] idx = new Long[] {};
        try {
            FileInputStream in = new FileInputStream(f);
            chan = in.getChannel();
            m = null;
            idx = buildLineIndex();
            l = idx.length;
        } catch (IOException e) {
            m = e.getMessage();
        }
        errMsg = m;
        lineCount = l;
        index = idx;
    }

    private Long[] buildLineIndex() throws IOException {
        List<Long> idx = new LinkedList<Long>();
        idx.add(0L);

        ByteBuffer buf = ByteBuffer.allocate(8 * 1024);
        long offset = 0;
        while (chan.read(buf) != -1) {
            int len = buf.position();
            buf.rewind();            
            int pos = 0;
            byte[] bufA = buf.array();
            while (pos < len) {
                byte c = bufA[pos++];
                if (c == '\n')
                    idx.add(offset + pos);
            }
            offset = chan.position();
        }
        System.out.println("Done Building index");
        return idx.toArray(new Long[] {});
    }

    @Override
    public int getColumnCount() {
        return 2;
    }

    @Override
    public int getRowCount() {
        return lineCount;
    }

    @Override
    public String getColumnName(int columnIndex) {
        switch (columnIndex) {
        case 0:
            return "#";
        case 1:
            return "Name";
        }
        return "";
    }

    @Override
    public Object getValueAt(int rowIndex, int columnIndex) {
        switch (columnIndex) {
            case 0:                
                return String.format("%3d", rowIndex);
            case 1:
                if (errMsg != null)
                    return errMsg;
                try { 
                    Long pos = index[rowIndex];
                    chan.position(pos);
                    chan.read(linebuf);
                    linebuf.rewind();
                    if (rowIndex == lineCount - 1)
                        return new String(linebuf.array());
                    else    
                        return new String(linebuf.array(), 0, (int)(long)(index[rowIndex+1]-pos));
                } catch (Exception e) {
                    return "Error: "+ e.getMessage();
                }
        }            
        return "a";
    }

    @Override
    public Class<?> getColumnClass(int columnIndex) {
        return String.class;
    }

    // ... other methods to make interface complete


}