txt 模式下的网页抓取

Question

我目前正在使用 watir 对网站进行网络抓取，隐藏常用 HTML 源中的所有数据。如果我没记错的话，他们正在使用 XML 和那些 AJAX 技术来隐藏它。 Firefox 可以看到它，但它是通过“DOM 选择源”显示的。

一切工作正常，但现在我正在寻找一个与 watir 等效的工具，但一切都需要在没有浏览器的情况下完成。一切都需要在txt文件中完成。

事实上，现在，watir 正在使用我的浏览器来模拟该页面，并向我返回我正在查找的整个 html 代码。我想要同样的但没有浏览器。

是否可以 ？

谢谢 问候 德

Answer 1

您最好的猜测是使用类似 webscarab 并捕获 AJAX 请求的 URL您的浏览器正在执行操作。
这样，您就可以通过使用任何 HTTP 库模拟这些调用来自己获取“重要”数据

Answer 2

只需一点点 Python 编码就可以实现。

我编写了一个简单的脚本来获取货运办事处的位置。

第一步

1. 例如，使用 Google Chrome 打开 ajax 页面，虽然是土耳其语，但您可以理解。
   http://www.yurticikargo.com/bilgi-servisleri/Sayfalar /en-yakin-sube.aspx
2. 按 F12 显示底部开发人员工具并导航到网络选项卡。
3. 导航底部的 XHR 选项卡。
4. 通过选择第一个组合框中的项目来发出 AJAX 请求。然后转到“标题”选项卡

5. 您将在左侧窗格中GetTownByCity，单击它并检查它。

   请求 URL：(...)/_layouts/ArikanliHolding.YurticiKargo.WebSite/ajaxproxy-
sswservices.aspx/GetTownByCity

   请求方式：POST

   状态代码：200 OK

6. 在请求负载树项中，您将参见

   请求负载：{cityId:34}
   标头。

7. 这将指导我们实现Python代码。

我们开始做吧。

#!/usr/bin/env python
# -*- coding: utf-8 -*-    
import requests
import json
# import simplejson as json
baseUrl = 'http://www.yurticikargo.com/'
ajaxRoot = '_layouts/ArikanliHolding.YurticiKargo.WebSite/'
getTown = 'ajaxproxy-sswservices.aspx/GetTownByCity'
urlGetTown = baseUrl + ajaxRoot + getTown
headers = {'content-type': 'application/json','encoding':'utf-8'}  # We are sending JSON headers, equivalent to Python dictionary
for plaka in range(1,82): # Because Turkiye has number plates from 1 to 81
    payload = {'cityId':plaka}
    r = requests.post(url, data=json.dumps(payload), headers=headers)
    data = r.json() # Returning data is in JSON format, if you need HTML use r.content()
    # ... Process the fetched data with JSON parser,
    # If HTML format, Beautiful Soup, Lxml, or etc...

请注意，此代码是我的工作代码的一部分，并且是即时编写的，最重要的是我没有测试它。它可能需要进行一些小的修改才能运行。