HtmlAgilityPack - 如何获取 大型网页中的数据

Question

我正在尝试从网页中获取数据，

特定类

它有10个类似的< DIV>S 且属于同一类“Personal_info”（如 HTML 代码所示，现在我想提取 10 - 15 中的 Personal_info 类的所有 DIV） href

Rama Anand

手机：9916184586
[电子邮件受保护]
班加罗尔

为了完成所需的工作，我开始使用 HTML AGILE PACK，正如 Stack Overflow 中某人的建议 我一开始就陷入了困境，因为对 HtmlAgilePack 缺乏了解，我的 C# 代码是这样的，

HtmlAgilityPack.HtmlDocument docHtml = new HtmlAgilityPack.HtmlDocument();
        HtmlAgilityPack.HtmlWeb docHFile = new HtmlWeb();

        docHtml = docHFile.Load("http://127.0.0.1/2.html");

然后如何进一步编码，以便可以从类为“personal_info”的 DIV 中获取数据...建议示例将不胜感激

Answer 1

我现在无法检查这一点，但不是吗：

var infos = from info in docHtml.DocumentNode.SelectNodes("//div[@class='personal_info']") select info; 

Answer 2

要加载 url，您可以执行以下操作：

 var document = new HtmlAgilityPack.HtmlDocument(); 
 var url = "http://www.google.com";
 var request = (HttpWebRequest)WebRequest.Create(url);
 using (var responseStream =  request.GetResponse().GetResponseStream())
 {
   document.Load(responseStream, Encoding.UTF8);
 }

另请注意，有一个分支可以让您在敏捷包中使用 jquery 选择器。

IEnumerable<HtmlNode> myList = document.QuerySelectorAll(".personal_info");

http://yosi-havia.blogspot .com/2010/10/using-jquery-selectors-on-server-sidec.html

Answer 3

哪里发生了什么事？

node.DescendantNodes().Where(node_it => node_it.Name=="div");

如果你想要顶级节点（根），你可以使用 page.DocumentNode 作为“节点”。