使用 Html Agility Pack 以上下文敏感的方式解析节点

Question

<div class="mvb"><b>Date 1</b></div>
<div class="mxb"><b>Header 1</b></div>
<div>
   inner hmtl 1
</div>

<div class="mvb"><b>Date 2</b></div>
<div class="mxb"><b>Header 2</b></div>
<div>
inner html 2
</div>

我想以这样的方式解析标签之间的内部 html

* associate the inner html 1 with header 1 and date 1

* associate the inner html 2 with header 2 and date 2

换句话说，在解析内部 html 1 时，我想知道包含“日期 1”和“标题 1”的 html 节点已被解析（但包含“日期 2”和“标题 2”的节点尚未被解析）

如果我通过常规文本解析执行此操作，我将一次读取一行并记录最后一个“日期”和“标题” “比我解析的要多。然后，当需要解析内部 html 1 时，我可以引用最后解析的“日期”和“标题”对象将它们关联在一起。

Answer 1

使用 Html Agility Pack，您可以利用 XPATH 功能 - 并忘记那些冗长的 xlinq 废话:-)。 XPATH position() 函数是上下文相关的。这是一个示例代码：

    HtmlDocument doc = new HtmlDocument();
    doc.Load("your html file");

    // select all DIV without a CLASS attribute defined
    foreach (HtmlNode div in doc.DocumentNode.SelectNodes("//div[not(@class)]"))
    {
        Console.WriteLine("div=" + div.InnerText.Trim());
        Console.WriteLine("  header=" + div.SelectSingleNode("preceding-sibling::div[position()=1]/b").InnerText);
        Console.WriteLine("  date=" + div.SelectSingleNode("preceding-sibling::div[position()=2]/b").InnerText);
    }

它将与您的示例一起打印：

div=inner hmtl 1
  header=Header 1
  date=Date 1
div=inner html 2
  header=Header 2
  date=Date 2

Answer 2

好吧，您可以通过多种方式执行此操作...

例如，如果您要解析的 HTML 是您在问题中编写的 HTML，则一种简单的方法可能是：

1. 将所有日期存储在 HtmlNodeCollection 中
2. 将所有标头存储在 HtmlNodeCollection
3. 存储 中另一个 HtmlNodeCollection 中的所有内部文本

如果一切正常并且 HTML 具有该布局，则这 3 个集合中的元素数量将相同。

然后您可以轻松地执行

for (int i = 0; i < innerTexts.Count; i++) {
    //Get Date, Headers and Inner Texts at position i
}

以下操作：

var document = new HtmlWeb().Load("http://www.url.com"); //Or load it from a Stream, local file, etc.

var dateNodes = document.DocumentNode.SelectNodes("//div[@class='mvb']/b");
var headerNodes = document.DocumentNode.SelectNodes("//div[@class='mxb']/b");

var innerTextNodes = (from node in document.DocumentNode.SelectNodes("//div")
                        let previous = node.PreviousSibling
                        where previous.Name == "div" && previous.GetAttributeValue("class", "") == "mxb"
                        select node).ToList();

//Check here if the number of elements of the 3 collections are the same

for (int i = 0; i < dateNodes.Count; i++) {
    var date = dateNodes[i].InnerText;
    var header = headerNodes[i].InnerText;
    var innerText = innerTextNodes[i].InnerText;

    //Now you have the set you want: You have the Date, Header and Inner Text
}

这是执行此操作的一种方法。
当然，您应该检查是否存在异常（.SelectNodes(..) 方法未返回 null），在存储 innerTextNodes 时检查 LINQ 表达式中的错误，并将 for (...) 重构为接收 HtmlNode 并返回 InnerText 属性的方法它。

考虑一下，在您发布的 HTML 代码中，您知道包含内部文本的

标记是什么的唯一方法是假设它是旁边的标记包含标题的

标记。这就是我使用 LINQ 表达式的原因。

另一种了解它的方法可能是

是否具有某些特定属性（如 class="___"）或类似属性，或者它内部是否包含一些标签而不仅仅是文字。解析 HTML 时并没有什么魔力:)

编辑：
我没有测试过这段代码。亲自测试一下，让我知道它是否有效。