urllib.urlopen() 如何工作？

Question

让我们考虑一个大文件（~100MB）。我们假设该文件是基于行的（文本文件，行相对较短，约为 80 个字符）。 如果我使用内置 open()/file() 文件将加载到 惰性方式。 IE 如果我执行aFile.readline()，则只有文件的一部分会驻留在内存中。 urllib.urlopen() 是否执行类似的操作（使用磁盘上的缓存）？

urllib.urlopen().readline() 和 file().readline() 性能差异有多大？我们假设该文件位于本地主机上。一旦我用 urllib.urlopen() 打开它，然后用 file() 打开它。当我使用 readline() 循环文件时，性能/内存消耗会有多大差异？

处理通过 urllib.urlopen() 打开的文件的最佳方法是什么？逐行处理是不是更快？或者我应该将一堆行（~50）加载到列表中然后处理该列表？

Answer 1

open （或 file）和 urllib.urlopen 看起来它们或多或少在那里做同样的事情。 urllib.urlopen（基本上）创建一个 socket._socketobject，然后调用 makefile 方法（该方法的内容包含在下面）

def makefile(self, mode='r', bufsize=-1):
    """makefile([mode[, bufsize]]) -> file object

    Return a regular file object corresponding to the socket.  The mode
    and bufsize arguments are as for the built-in open() function."""
    return _fileobject(self._sock, mode, bufsize)

Answer 2

urllib.urlopen() 是否执行类似的操作（使用磁盘上的缓存）？

操作系统确实如此。当您使用 urllib 等网络 API 时，操作系统和网卡将执行低级工作，将数据分割成通过网络发送的小数据包，并接收传入的数据包。它们存储在缓存中，以便应用程序可以抽象出数据包概念并假装它将发送和接收连续的数据流。

urllib.urlopen().readline() 和 file().readline() 性能差异有多大？

很难比较这两者。对于urllib，这取决于网络的速度以及服务器的速度。即使对于本地服务器，也存在一些抽象开销，因此通常从网络 API 读取比直接从文件读取要慢。

对于实际性能比较，您必须编写测试脚本并进行测量。然而，你为什么还要费心呢？您不能用另一种替代，因为它们有不同的用途。

处理通过 urllib.urlopen() 打开的文件的最佳方法是什么？逐行处理是不是更快？或者我应该将一堆行（~50）加载到列表中然后处理该列表？

由于瓶颈在于网络速度，因此最好在获得数据后立即对其进行处理。这样，操作系统可以“在后台”缓存更多传入数据。

在处理行之前将行缓存在列表中是没有意义的。你的程序将只是坐在那里等待足够的数据到达，而它可能已经在做一些有用的事情了。