通过python加载网站内容

Question

如何通过python从网站加载特定内容？例如，我想加载博客的一些帖子并将它们显示到我自己的网站上。我该怎么做？

Answer 1

答案：

import urllib2
from BeautifulSoup import BeautifulSoup

def fetchtags(req, name, attrs, num):
        try:
            website = urllib2.urlopen(req)
        except urllib2.HTTPError, e:
            print 'A problem occured. Please try again.'
            return
        soup = BeautifulSoup(website,
                             convertEntities=BeautifulSoup.HTML_ENTITIES)
        tags = soup.findAll(name=name,
                            attrs=attrs,
                            limit=num)
        return tags

然后你可以像这样使用它：

fetchtags('http://www.website.com', 'div', {'class':'c'}, 10)

从指定的url获取c类的10个div...

有关返回对象的更多详细信息，请参阅Beautiful Soup。

Answer 2

urllib 和 urllib2 将允许您加载原始 HTML。 HTML 解析器（例如 BeautifulSoup 和 lxml）将允许您解析原始 HTML，以便您可以获取您关心的部分。 Mako、Cheetah 等模板引擎可以让您生成 HTML，以便您可以显示网页。