爬虫入门问题,爬取10页没问题,但改了for i in range后依然是10页?

发布于 2022-09-13 00:14:41 字数 1571 浏览 24 评论 0

for循环for i in range(0,10)读取10页信息没问题,但是改成for i in range(0,1),本来是一页信息,但运行时读取的还是10页

import urllib.request,urllib.error

from bs4 import BeautifulSoup

import re

import xlwt

import sqlite3

def main():

baseurl="https://movie.douban.com/top250?star="



datalist=getData(baseurl)

askURL("https://movie.douban.com/top250?star=")

findLink=re.compile(r'')

def getData(baseurl):

datalist=[]

for i in range(0,10):  

    url=baseurl + str(i*25)   

    html=askURL(url) 

    soup=BeautifulSoup(html,"html.parser") 

    for item in soup.find_all('div',class_="item"):  

        # print(item) 

        data=[]  

        item=str(item)

        link=re.findall(findLink,item)[0] 

        # print(link)

return datalist  

def askURL(url):

head={                              

    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36 Edg/91.0.864.48"

}                                        

request=urllib.request.Request(url,headers=head)  

html=""  

try:

    response=urllib.request.urlopen(request)  

    html=response.read().decode("utf-8")  

    print(html)

except urllib.error.URLError as e:  

    if hasattr(e,"code"):

        print(e.code)     

    if hasattr(e,"reason"):

        print(e.reason)   

return html                       

if __name__=="__main__":

main()

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文