使用Python BeautifulSoup获取在线新闻文章的评论数

Question

我正在使用以下代码：

import urllib
from BeautifulSoup import BeautifulSoup
import re 

comment_url = http://community.nytimes.com/comments/www.nytimes.com/2011/08/24/world/africa/24libya.html

response_new = urllib.urlopen(comment_url)
html_new = response.read()
soup_new = BeautifulSoup(html_new)
tags = soup_new.findAll('h3', {'class': 'share'})
for tag in tags:
    a = tag.renderContents()
    print a 

print "done!"

我试图通过使用 BeautifulSoup 解析器查找某些标签内的信息来获取读者对《纽约时报》某篇文章发表的评论数量。在标准的《纽约时报》文章社区页面上，信息的位置如下：

<p>Share your thoughts.</p> 
</div> 
<div id="commentsWell"> 
<div id="readerComments"> 
<div class="header clearfix"> 
<h3 class="share">185
 Readers' Comments</h3> 

但是，当我运行代码时，我只是得到“完成！”这个词。很明显，我的代码没有获取我指定的任何标签。我的问题是 - 我是否错误地使用了 BeautifulSoup？如果是这样，您建议我如何修改代码以获得所需的信息？

谢谢 斯内哈

Answer 1

显式使用 attrs 关键字参数：

tags = soup_new.findAll('h3', attrs={'class': 'share'})

findAll 的调用签名为：

soup_new.findAll(self, name=None, attrs={}, recursive=True, text=None, limit=None, **kwargs)

因此，当您省略 attrs= 时，您将分配第二个参数 < code>{'class': 'share'}，到 name 而不是 attrs。