用Java从Internet获取数据

Question

我想用 java 为我的大学项目制作以下应用程序。我知道核心java。我想知道我应该为这个项目“专门”阅读什么，因为时间较少：

它将有一个界面来放置您的查询。该字符串将作为对互联网搜索引擎的查询，并在搜索引擎的帮助下找到数据（我们看到的第一个网页（这是我这次应用程序的数据。:)） ).
我不想显示数据。我只想要 HTML 文件或生成的网页的源代码。听起来像 Common Getaway 界面吗？我不知道这件事。

但我认为这是出于同样的目的。如果是这个的话。请指导我了解如何实现这一点。
无论是什么，请指定

• 问题1：我应该读什么？此时任何直接帮助都不是我的意图。我想自己实现它。
• 问题 2： 连接到互联网也需要一些 jnlp 知识。

例如。就像在谷歌上我们搜索一些东西一样，它会向我们显示网站的链接。我可以看到这个生成的网页的源代码。我只想让我的应用程序能够运行此页面。

编辑： 我不想只依赖谷歌或任何特定的网络服务器。我想通过我的申请来决定。
另请参阅我的问题 2。

当我发现我们有网站的条件条款时，我是否应该尝试制作我的爬虫。那么我的应用程序不会违反规则吗？嗯，这对我来说很重要。

Answer 1

阿什什,
这是我推荐的。

1. 从这些链接了解 JSON 的基础知识（简介、lib 下载）
2. 然后查看 Google Web Search JSON API 这里。
3. 了解如何使用 HttpClient 库从服务器获取数据此处。
4. 现在您需要做的是，触发搜索的 get 请求，读取 JSON 响应，使用 #1 中的 JSON 库解析响应，然后您就可以获得搜索结果。
5. 大多数搜索引擎（Bing 等）都提供 Jason/REST api，因此您可以对其他搜索引擎执行相同的操作。

注意：Jason API 通常在 UI 端的 JavaScritps 中使用，但由于它非常容易且快速学习，因此我建议您这样做。您还可以探索（如果时间允许）基于 XML 的 API。

Answer 2

URL url = new URL("http://fooooo.com");
in = new BufferedReader(new InputStreamReader(url.openStream()));
String inputLine;
while ((inputLine = in.readLine()) != null)
  {
    System.out.println(inputLine);
  }

应该足以让你开始。

是的，请检查您是否没有违反网站的使用条款。搜索引擎并不真正喜欢您尝试通过程序访问它们。

许多公司（包括 Google）都有专门为此目的设计的 API。

Answer 3

你可以使用 HTMLUnit 做你想做的一切。它就像一个 Web 浏览器，但适用于 Java。在他们的网站上查看一些示例。

Answer 4

阅读 Java 教程中的“使用 URL”以获得了解 HTMLUnit、HttpClient 等可用库背后的内容

Answer 5

我不想显示数据。我只想要 HTML 文件或生成的网页的源代码。

您可能也不需要 HTML。 Google 使用此 API 将搜索结果作为网络服务提供。对于其他搜索引擎 GIYF 也是如此。您将获得 XML 形式的搜索结果，这对您来说更容易解析。另外，XML 不会包含任何不需要的数据，例如广告。