如何用网络爬虫爬取ERP软件（调用SQL数据库）上的信息？

Question

现在有一个ERP软件，我有员工用户名、密码，可以登录系统自由浏览界面（但不是管理员）。那么是否可以爬取该软件系统界面上的信息呢？我用wireshark来抓包，发现它界面上的很多数据都是调用了远程服务器上一个SQL数据库的信息，而且是基于TDS协议的。我能在抓到的包里清晰地看到它发送的SQL请求语句、我所提交的用户名和密码明文、对应的ip地址和端口，但并没有看到查询的数据库名称。

我做python爬虫很多了，而且都是做http协议的，从来没有做过其他协议的爬虫。我就想知道这种查询SQL数据库的爬虫该怎么做？

Answer 1

可以用网页爬虫的方式来处理，你可以参考下3uCS 虚拟机器人RPA，可以用来提取或填写网页表格等，客户端软件的操作也可以的，他们给联合利华提供的一个解决方案也是用的这种方式，可以在线自定义、修改相关网页锚点的参数、数据什么的，自动将抓取的数据写入数据库表中等等。