C# 抓取 HTML/.asp

Question

我正在研究“个人可以工作”之类的事情，除了尝试将 .asp 源文件中的一些信息解析到我的程序中之外，我一切都工作得很好。

这是我到目前为止的解析代码

 // parse out the results
            try 
            {
                int snr_start = result.IndexOf("SNR");
                int snr_end = result.IndexOf("</TR>", snr_start);
                snr = result.Substring(snr_start, snr_end - snr_start);
                snr = snr.Substring(snr.IndexOf("<TD>") + 1);
                snr = snr.Substring(0, snr.Length - 6);
                iSNR = Convert.ToInt32(snr.Substring(0, snr.IndexOf(" ")));

                int dnpwr_start = result.IndexOf("Downstream Power", snr_end);
                int dnpwr_stop = result.IndexOf("</TR>", dnpwr_start);
                dnpwr = result.Substring(dnpwr_start, dnpwr_stop - dnpwr_start);
                dnpwr = dnpwr.Substring(dnpwr.IndexOf("<TD>") + 1);
                dnpwr = dnpwr.Substring(0, dnpwr.IndexOf("<TABLE") - 1);
                iDPWR = Convert.ToInt32(dnpwr.Substring(0, dnpwr.IndexOf(" ")));

                int uppwr_start = result.IndexOf("Upstream Power", dnpwr_stop);
                int uppwr_stop = result.IndexOf("</TR>", uppwr_start);
                uppwr = result.Substring(uppwr_start, uppwr_stop - uppwr_start);
                uppwr = uppwr.Substring(uppwr.IndexOf("<TD>") + 1);
                uppwr = uppwr.Substring(0, uppwr.IndexOf("</TD>") - 1);
                iUPWR = Convert.ToInt32(uppwr.Substring(0, uppwr.IndexOf(" ")));
            }
            catch 

这是源文件和我试图从中获取的信息（SNR，下游功率，上游功率）

<td class="headerR">Downstream Power</td>
<td class="contentL">1.0 dBmV</td>
</tr>
<tr>
<td class="headerR">SNR</td>
<td class="contentL">39.656 dB</td>
</tr>
<tr>
<td class="headerR">Upstream Power</td>
<td class="contentL">42.0 dBmV</td>
</tr>

不太确定我哪里出错了，但任何帮助都会很大赞赏。 该项目的重点是让我能够解析调制解调器（我是 MSO 员工）的信号电平，以进行扩展监控。如果需要，我可以从 .asp 页面发布完整的源代码，

谢谢， 马特

Answer 1

如果您只想从一张表中提取数据，这应该可行：

int start = result.IndexOf("<table>");
int end = result.IndexOf("</table>", start) + 8;
var doc = new XmlDocument();
doc.LoadXml(result.Substring(start, end - start);

iSNR = Convert.ToInt32(doc.SelectSingleNode("following-sibling::tr/td[text() = 'SNR']").InnerText.Split(' ')[0]);
iDPWR = Convert.ToInt32(doc.SelectSingleNode("following-sibling::tr/td[text() = 'Downstream Power']").InnerText.Split(' ')[0]);
iUPWR = Convert.ToInt32(doc.SelectSingleNode("following-sibling::tr/td[text() = 'Upstream Power']").InnerText.Split(' ')[0]);

Answer 2

我不太热衷于使用这些字符串方法进行屏幕抓取，除非这是你的最后手段。

您可以尝试使用一些正则表达式......或者甚至更好，如果您可以保证您的 HTML 源格式良好（XHTML），您可以将其（或您想要的 XML 片段）加载到 XML Document 对象中并使用 XPath或 Linq-to-XML (XLinq)（如果使用 .NET 3.5）。

Answer 3

ASP源码？您最好的选择可能是正则表达式 - 它们是为此类任务而设计的。任何类型的抓取通常都意味着值得您花时间去挖掘它们。

你用什么语言来解析它？如果是 .Net，您可以使用 Regex 类轻松获得名称/值对。

正则表达式如下：

"<tr>\s*<td\s+class\s*=\s*\"headerR\"\s*>\s*(?<name>[^<])\s*</td\s*>\s*<td\s+class\s*=\s*\"contentL\"\s*>\s*(?<value>[^<])\s*</td\s*>\s*</tr\s*>"

然后，您可以循环捕获并获取名称值对列表：

“下游功率”：“1.0 dBmV”
“信噪比”：“39.656 分贝”
“上游功率”：“42.0 dbmV”

应该很简单。