关于可读性代码的 jQuery 等效项有什么想法吗？ （或者：使用 jQuery 构建最佳启发式查找正文）

Question

http://lab.arc90.com/experiments/readability/ 是一个非常方便的工具以非常易读的方式查看杂乱的报纸、期刊和博客页面。它通过使用一些启发式方法并查找网页的相关正文来实现这一点。其源代码也可在 http://lab.arc90.com/experiments 获取/readability/js/readability.js

我的一些同事提请我注意这一点，因为我正在努力使用 jQuery 来获取 any 的“正文”报纸|期刊|博客 |等网站。我当前的启发式（以及 jQuery 中的实现）使用类似的东西（这是在 Firefox Jetpack 包内完成的）：

$(doc).find("div > p").each(function (index) {  
    var textStr = $(this).text();
/*
     We need the pieces of text that are long and in natural language,
     and not some JS code snippets
    */
if(textStr.length > MIN_TEXT_LENGTH && textStr.indexOf("<script") <= 0) {    
    console.log(index);    
    console.log(textStr.length);
    console.log(textStr);
    $(this).attr("id", "clozefox_paragraph_" + index);
    results.push(index);

    wholeText = wholeText + " " + textStr;
}
});

所以它就像“抓取 DIV 内的段落并检查不相关的字符串，如“脚本””。我已经尝试过这个，大多数时候它可以抓取网络文章的正文，但是我想要一个更好的启发式或者更好的 jQuery 选择机制（甚至更短？）。

您有更好的建议吗？

PS：也许“找到最里面的 DIV（即没有 DIV 类型的任何子元素）并

只获取它们的 s”对于我当前的目的来说是一个更好的启发式，但我不知道如何在 jQuery 中表达这一点。

Answer 1

这通常是通过分析页面上元素的“链接密度”来完成的。链接密度越高，越有可能不是内容。这是开始思考内容提取技术和算法的好地方：http://www.quora.com/Whats-the-best-method-to-extract-article-text-from-HTML-documents

Answer 2

大多数文章都有一个矩形的文本栏。尝试采用元素尺寸和它（包括子元素）包含的单词数的某种组合。您可能想要偏爱又窄又高的 div。

像主要文本的概率=（字数）*（高度/宽度）之类的东西将是一个好的开始。