要抓取的网页内容在括号里，正则怎么写？
<dt> <span class="gray6 ">名称：</span> <a title="查看" class="blue" id="agantesfxq_B02_08" href="http://xiandai007.com/esf/"…
python爬虫爬取资料，是直接生成Excel文件还是存入Mysql有利于后期处理。
要处理的文件不多，就是几万条，都是些简单的处理，Excel暂时也够用。大概思路两条： 1、python抓到的数据通过Python DB API 储存到mysql中再做处理…
python sys 模块 设置编码老是报错
import sys reload(sys) sys.setdefaultencoding("utf-8") 我用的python2.7 eclipse-pydev,这上面第三行设置编码老是提示错误!不知道怎么回事。如下…
Heritrix 新建jobs的时候Modules选项中不能都不能新增选择。
在红色的位置本来应该是可以选择添加选项的。但是我的这个全都没有了。这个框架更新的原因么？还是说我的配置不正确。请大牛来解答一下。我这个抓取…
python爬虫的时候，需要爬取的数据出现在javascript的变量里，只能通过正则获取么？
比如网址：http://gsxt.lngs.gov.cn/saicp...里面的内容是：<script type="text/javascript">$(document).ready(function(){tzr_paging([{"blicn…
python urlopen.read()不完整
这个目的说来有点不忍启齿....不过抱着解决问题的态度，我还是提了这个问题：这个是原网页https://movie.douban.com/tag/æ è²?start=0&type=T …
抓包时遇到的问题，同样的url却指向不同的内容
安卓新手一枚，在做一个图书馆的app内容来源是通过charles抓取图书馆官网的内容链接，在过程中发现这样一个问题。馆藏图书搜索api分为两部分，首先通…
【求教】用BeautifulSoup正确的抓取姿势(抓取如图所示的标签？)
我写了一条目的是抓取b中的数字8 pgNum = soup.find_all(class_ = 'p-skip')[0].find_all('b')[0] 但提示的是'index out of range' 0.0 然后呢有测试…
【求教】循环爬取页面超时如何解决？
先贴上运行结果： 第1页正在爬取..Traceback (most recent call last): File "fetch2.py", line 48, in <module> get_Pages(html) File "fetch2.…
