Python 随机访问文件

发布于 2024-10-17 13:21:04 字数 92 浏览 3 评论 0原文

是否有一种 Python 文件类型可以访问随机行而不遍历整个文件？我需要在一个大文件中进行搜索，将整个文件读入内存是不可能的。

任何类型或方法将不胜感激。

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

傲世九天 2024-10-24 13:21:04

这似乎正是 mmap 的设计目的。 mmap 对象创建一个类似于字符串的文件接口：

>>> f = open("bonnie.txt", "wb")
>>> f.write("My Bonnie lies over the ocean.")
>>> f.close()
>>> f.open("bonnie.txt", "r+b")
>>> mm = mmap(f.fileno(), 0)
>>> print mm[3:9]
Bonnie

如果您想知道，mmap 对象也可以分配给：

>>> print mm[24:]
ocean.
>>> mm[24:] = "sea.  "
>>> print mm[:]
My Bonnie lies over the sea.

This seems like just the sort of thing mmap was designed for. A mmap object creates a string-like interface to a file:

>>> f = open("bonnie.txt", "wb")
>>> f.write("My Bonnie lies over the ocean.")
>>> f.close()
>>> f.open("bonnie.txt", "r+b")
>>> mm = mmap(f.fileno(), 0)
>>> print mm[3:9]
Bonnie

In case you were wondering, mmap objects can also be assigned to:

>>> print mm[24:]
ocean.
>>> mm[24:] = "sea.  "
>>> print mm[:]
My Bonnie lies over the sea.

回复收藏 0 原文

酒儿 2024-10-24 13:21:04

您可以使用 linecache：

import linecache
print linecache.getline(your_file.txt, randomLineNumber) # Note: first line is 1, not 0

You can use linecache:

import linecache
print linecache.getline(your_file.txt, randomLineNumber) # Note: first line is 1, not 0

回复收藏 0 原文

溺渁∝ 2024-10-24 13:21:04

由于行可以是任意长度，因此如果不遍历整个文件，您实际上无法获得随机行（无论您的意思是“数字实际上是随机的行”还是“由我选择的具有任意数字的行”）。

如果 kinda-sorta-random 就足够了，您可以在文件中查找随机位置，然后向前读取，直到遇到行终止符。但是，如果您想查找（例如）行号 1234，则这是无用的，并且如果您实际上想要随机选择的行，则会对行进行非均匀采样。

回复收藏 0 原文

谜兔 2024-10-24 13:21:04

文件对象有一个查找方法，可以为该文件中的特定字节获取值。
要遍历大文件，请对其进行迭代并检查每行中的值。迭代文件对象不会将整个文件内容加载到内存中。

回复收藏 0 原文

新一帅帅 2024-10-24 13:21:04

是的，您可以轻松获得随机线路。只需查找文件中的随机位置，然后向开头查找，直到遇到 \n 或文件的开头，然后读取一行。

代码：

import sys,random
with open(sys.argv[1],"r") as f:
    f.seek(0,2)                 # seek to end of file
    bytes = f.tell()
    f.seek(int(bytes*random.random()))

    # Now seek forward until beginning of file or we get a \n
    while True:
        f.seek(-2,1)
        ch = f.read(1)
        if ch=='\n': break
        if f.tell()==1: break

    # Now get a line
    print f.readline()

Yes, you can easily get a random line. Just seek to a random position in the file, then seek towards the beginning until you hit a \n or the beginning of the file, then read a line.

Code:

import sys,random
with open(sys.argv[1],"r") as f:
    f.seek(0,2)                 # seek to end of file
    bytes = f.tell()
    f.seek(int(bytes*random.random()))

    # Now seek forward until beginning of file or we get a \n
    while True:
        f.seek(-2,1)
        ch = f.read(1)
        if ch=='\n': break
        if f.tell()==1: break

    # Now get a line
    print f.readline()

回复收藏 0 原文