关于python模拟登陆
描述你的问题爬我们学校的门户网站，不知道哪里出了问题，post完最后还是返回到了原页面，没有跳转 贴上相关代码 #!/usr/bin/python #coding=utf-8 i…
python cookie 抓取不全问题。
cookie = cookielib.CookieJar() opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie)) urllib2.install_opener(opener) opener.add…
python抓取图片出现无法连接的错误.
我尝试抓取一些网站的照片 f = open(name+'.jpg', 'wb+') headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0 Win64 x64) AppleWebKit/537.36 …
PHP 延迟执行的问题？
去网上查了，首先是sleep系列（sleep/usleep/nanosleep/time_sleep_until）的函数，首先这些函数有个问题，sleep是当前进程挂起，比如： echo time()…
如何利用scrapy的xpath过滤器，按顺序拿到文本节点和图片节点？
Hi,all: 我最近在用scrapy在爬取一些网站的内容。需求大致是，完整的爬取网页的内容，要保证网页的文字、图片和视频位置都不发生变化。 我用xpath的…
Python爬虫： [urllib2.HTTPError: HTTP Error 403: Forbidden]
昨天爬豆瓣，没有出现过错误，今早爬成功了一次，接着全部报错。 个人推测，问题在于网站禁止爬虫，如何伪装成浏览器访问？ 根据这个stackoverflow答…
Nutch能否通过关键字爬取互联网的信息
以前没使用过nutch， 我知道可以指定一系列url， 然后让nuthc去抓取信息。 我在想， nutch是否可以不指定url，而是指定关键字进行搜索。 就像google一…
