提取所有输入参数的 JSP 页面爬虫

Question

您是否知道有一个开源 Java 组件，它提供了扫描一组动态页面 (JSP) 的功能，然后从那里提取所有输入参数。当然，爬虫可以爬取静态代码，而不是动态代码，但我的想法是将其扩展为爬取网络服务器，包括所有服务器端代码。当然，我假设该工具可以完全访问爬行的网络服务器，而不是使用任何黑客手段。

这个想法是构建一个静态分析器，能够检测所有动态页面中的所有参数（request.getParameter() 等）字段。

Answer 1

这个想法是构建一个静态分析器，能够检测所有动态页面的所有参数字段。

您不能使用网络爬虫（基本上是HTML解析器）来提取请求参数。他们最多可以扫描 HTML 结构。例如，您可以使用 Jsoup 来实现：

for (Element form : Jsoup.connect("http://google.com").get().select("form")) {
    System.out.printf("Form found: action=%s, method=%s%n", form.attr("action"), form.attr("method"));
    for (Element input : form.select("input,select,textarea")) {
        System.out.printf("\tInput found: name=%s, value=%s%n", input.attr("name"), input.attr("value"));
    }
}

当前打印

Form found: action=, method=
    Input found: name=hl, value=en
    Input found: name=source, value=hp
    Input found: name=ie, value=ISO-8859-1
    Input found: name=q, value=
    Input found: name=btnG, value=Google Search
    Input found: name=btnI, value=I'm Feeling Lucky
    Input found: name=, value=
Form found: action=/search, method=
    Input found: name=hl, value=en
    Input found: name=source, value=hp
    Input found: name=ie, value=ISO-8859-1
    Input found: name=q, value=
    Input found: name=btnG, value=Google Search
    Input found: name=btnI, value=I'm Feeling Lucky

---

如果您想扫描 JSP 源代码Filter。

Map<String, String[]> params = request.getParameterMap();
// ...