来自我国家受到限制的网站的Python Webcrapping

发布于 2025-01-30 13:19:16 字数 503 浏览 1 评论 0原文

我有这个网站: https://fastlane.co.il/

只有以色列人(就我检查)服务器(以色列的VPN工作正常)。 这是一个非常简单的HTML网站,我想刮擦。

我想从云服务(speicifcally,Google Cloud)运行刮擦。 如何使用服务器上的Python刮擦HTML? 索姆索特的代理?

URL:
https://fastlane.co.il/

IP:
81.218.67.65

我想得到什么? 网站的HTML代码。

我尝试了什么:

import requests 
response = requests.get(url)
print(response.status_code)

在我的机器上效果很好。在云/COLAB上失败

i have this website:
https://fastlane.co.il/

Which is only available (as far as i checked) from Israeli servers (a VPN in israel works fine).
it is a very simple HTML website that i want to scrape.

I want to run the scraping from a cloud service (speicifcally, google cloud).
How can i scrape the HTML using python on a server?
a proxy of somesort?

URL:
https://fastlane.co.il/

IP:
81.218.67.65

What i want to get?
The HTML code of the website.

What have i tried:

import requests 
response = requests.get(url)
print(response.status_code)

Works great on my machines. fails on cloud/Colab

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文