做分布式爬虫和搜索引擎对于服务器配置有什么要求？
做分布式爬虫和搜索引擎对于服务器配置有什么要求？
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
做分布式爬虫和搜索引擎对于服务器配置有什么要求？
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
接受 或继续使用网站，即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论（4）
美国服务器能用不？直接上美国高配置的服务器，带宽大，IP多。
引用来自“夜狼”的评论
1、一般来说是带宽更重要，当然包括你选择的服务器与目标服务器之前的连接速度，因为爬虫程序本身没有多复杂，对于现在的CPU来说没有一点压力，单个页面的分析处理最多 50ms
2、一台两台来说的话，就你当前的应用来说，本身上对内存或CPU要求不算高，那么你要比较的就是价格了，或者你感觉有两台机器更安心？
3、带宽要看你的程序在单机特定配置下，什么情况平均 CPU 大于 50% （这说明网络与数据处理到达一定的平衡）那么这时候的下载的速度就是一个带宽的参考。
4、这个没法回答，有太多因素，主要还是先做一个平衡的选择之后，按需要做加法的。
我新的回复在下面
1、一般来说是带宽更重要，当然包括你选择的服务器与目标服务器之前的连接速度，因为爬虫程序本身没有多复杂，对于现在的CPU来说没有一点压力，单个页面的分析处理最多 50ms
2、一台两台来说的话，就你当前的应用来说，本身上对内存或CPU要求不算高，那么你要比较的就是价格了，或者你感觉有两台机器更安心？
3、带宽要看你的程序在单机特定配置下，什么情况平均 CPU 大于 50% （这说明网络与数据处理到达一定的平衡）那么这时候的下载的速度就是一个带宽的参考。
4、这个没法回答，有太多因素，主要还是先做一个平衡的选择之后，按需要做加法的。