使用 Python 从 HTML 中提取可读文本？

Question

我知道像 html2text、BeautifulSoup 等实用程序，但问题是它们还提取 javascript 并将其添加到文本中，使得很难将它们分开。

htmlDom = BeautifulSoup(webPage)

htmlDom.findAll(text=True)

或者，

from stripogram import html2text
extract = html2text(webPage)

这两者也会提取页面上的所有 javascript，这是不希望的。

我只是想要提取您可以从浏览器复制的可读文本。

Answer 1

如果您想避免使用 BeautifulSoup 提取 script 标记的任何内容，

nonscripttags = htmlDom.findAll(lambda t: t.name != 'script', recursive=False)

将为您做到这一点，获取根的直接子级，它们是非脚本标记（以及单独的 htmlDom.findAll (recursive=False, text=True) 将获取作为根的直接子级的字符串）。您需要递归地执行此操作；例如，作为生成器：

def nonScript(tag):
    return tag.name != 'script'

def getStrings(root):
   for s in root.childGenerator():
     if hasattr(s, 'name'):    # then it's a tag
       if s.name == 'script':  # skip it!
         continue
       for x in getStrings(s): yield x
     else:                     # it's a string!
       yield s

我使用 childGenerator （代替 findAll），这样我就可以按顺序获取所有子项并进行自己的过滤。

Answer 2

使用 BeautifulSoup，大致如下：

def _extract_text(t):
    if not t:
        return ""
    if isinstance(t, (unicode, str)):
        return " ".join(filter(None, t.replace("\n", " ").split(" ")))
    if t.name.lower() == "br": return "\n"
    if t.name.lower() == "script": return "\n"
    return "".join(extract_text(c) for c in t)
def extract_text(t):
    return '\n'.join(x.strip() for x in _extract_text(t).split('\n'))
print extract_text(htmlDom)

Answer 3

您可以删除 beautiful soup 中的脚本标签，例如：

for script in soup("script"):
    script.extract()

删除元素

Answer 4

尝试一下：

http://code.google.com/p/boilerpipe/

http://ai-depot. com/articles/the-easy-way-to-extract-useful-text-from-任意-html/