请求（URL）有5个迭代之后

Question

我试图在使用“美丽的套件”上运行Webscraping Algo，并通过不同的页面进行循环。但是，经过2-6次迭代，请求（url）悬挂并停止查找下一页。我已经读到，它可能会阻止服务器有所作为，但这会阻止原始请求，并且还说在线上说确实可以进行网络刮擦。我还听说我应该设置一个标题，但我不确定该怎么做。我正在使用最新版本的Safari和Macos 12.4运行。

Answer 1

我想到的解决方案，认为这不是专门回答问题，是使用试用期望语句并将超时值设置为请求。一旦达到超时值，它将输入尝试异常语句，设置一个布尔值，然后继续循环并重试。代码在下面插入。

while(i < 10):
    url = get_url('software intern', '', i)
    print("Parsing Page Number:" + str(i + 1))

    error = False

    try:
        response = requests.get(url, timeout = 10)
    except requests.exceptions.Timeout as err:
        error = True
    if error:
        print("Trying to connect to webpage again")
        continue

    i += 1

我现在将这个问题视为目前尚未得到答复，但是我仍然不知道这个问题的根本原因，而这个解决方案只是解决方法。