python xpath 采集的问题
网址 :https://china.guidechem.com/datacenter/msds/c/733.html 图片这个蒸汽压:<-5℃ 这个数据死活采集不到 xpath('//td[contains(@align,left)]/…
关于Python和twisted
没安装twisted之前用Python的pip安装scrapy安装不上,但安装twisted之后 ,在pip安装scrapy,顺利安装上,为什么,百度twisted,讲了一大堆,感觉和这…
python爬取猫眼票房的数据,遇到美团登录验证怎么办
python爬取猫眼票房的数据地址:https://piaofang.maoyan.com/?ver=normal import requests from fake_useragent import UserAgent import base64 fr…
selenium 中的 webdriver.Chrome()报错
` # 下列设置让浏览器不弹出,不影响正常电脑使用 chrome_options = webdriver.ChromeOptions() chrome_options.add_argument('--headless') chrome_…
python爬虫的response.text乱码应该怎么办?
经过查看,mate里面的charset是utf-8,响应头的charset也是utf-8,打印response.encoding是UTF-8,response.aparent_encoding是none,解码出来依旧是…
python怎么爬取blob url的内容呢
前几天让我爬一个网站数据,可是看了半天觉得网站数据都是通过blob url的方式读取的。。。 除了blob就是一些css,png,js,根本没找到数据路径在哪。…
selenium chrome 打开浏览器时没有url
运行代码时,chrome已经打开,但是并没有访问url(地址栏中没有url,只有data)。google-chrome 版本是Version 76.0.3809.100 64位ChromeDriver 是 7…
serapy 我想要这个网址'https://www.vmovier.com'+i,然后和标题对应起来
all_url = []class Dad(): def __init__(self,channel,x): self.channel = channel self.x = x self.url_all() #print(self.all_url) def url_all(se…
scrapy 图片爬取偶尔会报错
使用scrapy爬取百度百科图片的时候偶尔会报以下错误,一直没找到解决方案,望大佬指点 2019-06-10 11:48:31 [scrapy.pipelines.files] ERROR: File (…