如何下载和读取带有通用换行符的 URL？

Question

我将 urllib.urlopen 与 Python 2.7 一起使用，但我需要处理下载的 HTML 文档及其包含的换行符（在

 元素内）。

urllib 文档 表明 urlopen 不会使用通用换行符。我该怎么做？

Answer 1

除非 HTML 文件已经在您的磁盘上，否则 urlopen() 将正确处理所有格式的换行符（\n、\r\n 和\r) 在您想要解析的 HTML 文件中（即将它们转换为 \n），根据 urllib 文档：

“如果 URL 没有方案标识符，或者具有 file: 作为其方案标识符，则会打开本地文件（没有通用换行符）”

例如

>>> from urllib import urlopen
>>> urlopen("http://****.com/win_new_lines.htm").read()
'line 1\nline 2\n\n\nline 3'
>>> urlopen("http://****.com/unix_new_lines.htm").read()   
'line 1\nline 2\n\n\nline 3'

Answer 2

当您处理 pre 标记的内容时，请使用 splitlines 规范行结束符：

'\n'.join(contents.splitlines())