对于没有APi的网站如何获取信息？

Question

想做一个网站，用户在网站输入查询信息，后台自动把信息输入到目标网站，然后获取目标网站的查询结果，返回给用户。

由于目标网站并没有API，请问该如何实现这个功能？求教！谢谢大家

Answer 1

你说的是要提交目标网页上的表单吧？没有API就得自己分析表单内容，然后照着那个模版自己提交。

Answer 2

你会写爬虫吗？你这个需求，就是在拿到用户的输入之后，模拟post表单啊。这个需要你抓包，看你需要提交的网站要提交些什么参数，有的网站有反爬虫和防自动化机器人的措施的。

Answer 3

简单的用php curl就可以模拟了，复杂的可以用python + selenium

Answer 4

你的問題需要熟悉幾個工具和網站/頁基本原理才比較好挑簡單及優雅的方式做。
依最簡單及優雅的順序來說：

1. 先用Chrome Inspector 或類似工具檢查Console在讀網頁數據時是否有XHR請求，有的話想法子反向工程找到開放但沒有公布的API接口，按XHR請求實例把API接口的使用方法推論出。

2. 若無XHR等類似請求，但內容可以用Chrome Inspector的CSS Selector 或Xpath Selector取出的，就可以使用爬蟲。

3. 若無CSS Selector 或Xpath Selector取出的優雅方案，可能就要用正規或其他規律取數據。

時間人力成本從1至3差異很大，有經驗的人1.只需幾分鐘，但3.若網頁情況很不適合程序處理的話，是無底洞，謹慎評估才是。