Python 中的屏幕抓取

Question

我目前正在尝试屏幕抓取一个网站以将信息放入字典中。我正在使用 urllib2 和 BeautifulSoup。我不知道如何解析网页源信息以获取我想要的内容并将其读入字典。我想要的信息显示为 。我正在考虑使用 reg 表达式读取行，将时间和日期转换为日期时间，然后解析行以将数据读入字典中。字典输出应该类似于

[ { “日期”: dateime(2010, 11, 24, 23, 59), "title": "鞋底进场。和平出局。", } ]

当前代码：

from BeautifulSoup import BeautifulSoup
import re
import urllib2
url = 'http://events.cmich.edu/RssStudentEvents.aspx'
response = urllib2.urlopen(url)
html = response.read()
soup = BeautifulSoup(html)

抱歉，文字墙很长，感谢您的时间和帮助！

Answer 1

像这样的东西..

titletext = soup.findAll('title')[1].string #assuming it's the second title element.. I've seen worse in html
import datetime
datetext = titletext.split("|")[0]
title = titletext.split("|")[2]
date = datetime.datetime.strptime(datetext,"%b %d").replace(year=2010)
the_final_dict = {'date':date,'title':title}

findAll() 返回搜索元素的所有实例.. 因此您可以像对待任何其他列表一样对待它。

那应该就可以了:)

编辑：小修复

Edit2：修复下面的评论

Answer 2

编辑：我没有意识到这不是一个 HTML 页面，所以看看 Chris 的更正。下面的内容适用于 HTML 页面。

您可以使用：

titleTag = soup.html.head.title

或：

soup.findAll('title')

看一下这里：

• ​​http://www.crummy.com/软件/BeautifulSoup/documentation.html

Answer 3

>>> soup.findAll('item')[1].title
<title>Nov 24 | 8:00AM | Sole In. Peace Out. </title>
>>> soup.findAll('item')[1].title.text
u'Nov 24 | 8:00AM | Sole In. Peace Out.'
>>> date, _, title = soup.findAll('item')[1].title.text.rpartition(' | ')
>>> date
u'Nov 24 | 8:00AM'
>>> title
u'Sole In. Peace Out.'
>>> from datetime import datetime
>>> date = datetime.strptime(date, "%b %d | %I:%M%p").replace(year=datetime.now().year)
>>> dict(date=date, title=title)
{'date': datetime.datetime(2010, 11, 24, 8, 0), 'title': u'Sole In. Peace Out.'}

请注意，这还包括一天中的时间。

然后，我认为您想要所有项目，

>>> from datetime import datetime
>>> matches = []
>>> for item in soup.findAll('item'):
...     date, _, title = item.title.text.rpartition(' | ')
...     matches.append(dict(date=datetime.strptime(date, '%b %d | %I:%M%p').replace(year=datetime.now().year), title=title))
... 
>>> from pprint import pprint
>>> pprint(matches)
[{'date': datetime.datetime(2010, 11, 24, 8, 0),
  'title': u'The Americana Indian\u2014American Indian in the American Imagination'},
 {'date': datetime.datetime(2010, 11, 24, 8, 0),
  'title': u'Sole In. Peace Out.'},
...
 {'date': datetime.datetime(2010, 12, 8, 8, 0),
  'title': u'Apply to be an FYE Mentor'}]

如果您想要更复杂的年份处理，您可以这样做。你明白了。

最后补充：生成器将是使用它的好方法。

from datetime import datetime
import urllib2
from BeautifulSoup import BeautifulSoup

def whatevers():
    soup = BeautifulSoup(urllib2.urlopen('http://events.cmich.edu/RssStudentEvents.aspx').read())
    for item in soup.findAll('item'):
        date, _, title = item.title.text.rpartition(' | ')
        yield dict(date=datetime.strptime(date, '%b %d | %I:%M%p').replace(year=datetime.now().year), title=title)

for match in whatevers():
    pass  # Use match['date'], match['title'].  a namedtuple might also be neat here.