Python urllib2 解码分块编码

Question

我有以下代码来打开和读取 URL：

html_data = urllib2.urlopen(req).read()

我相信这是从 HTTP 读取数据的最标准方法。 但是，当响应具有分块传输编码时，响应以以下内容开头字符：

1eb0\r\n2625\r\n
<?xml version="1.0" encoding="UTF-8"?>
...

这是由于上述分块编码而发生的，因此我的 XML 数据被损坏。

所以我想知道如何摆脱与分块编码相关的所有元数据？

Answer 1

我最终进行了自定义 xml 剥离，如下所示：

    xml_start = html_data.find('<?xml')
    xml_end = html_data.rfind('</mytag>')
    if xml_start !=0:
        log_user_action(req.get_host() ,'chunked data', html_data, {})
        html_data = html_data[xml_start:]
    if xml_end != len(html_data)-len('</mytag>')-1:
        html_data = html_data[:xml_end+1]

找不到任何简单的解决方案。

Answer 2

1eb0\r\n2625\r\n 是重组有效负载中的段开始/停止位置（十六进制）

Answer 3

您可以删除 ?xml 之前的所有内容

html_data = html_data[html_data.find('<?xml'):]