python [lxml] - 清除 html 标签

Question

from lxml.html.clean import clean_html, Cleaner
    def clean(text):
        try:        
            cleaner = Cleaner(scripts=True, embedded=True, meta=True, page_structure=True, links=True, style=True,
                      remove_tags = ['a', 'li', 'td'])
            print (len(cleaner.clean_html(text))- len(text))
            return cleaner.clean_html(text) 
        except:
            print 'Error in clean_html'
            print sys.exc_info()
            return text

我将上面的（丑陋的）代码放在一起作为我对 python 领域的初步尝试。我正在尝试使用 lxml Cleaner 清理几个 html 页面，所以最后我只留下文本而没有其他内容 - 但尽我所能，上面的内容似乎不起作用，我尽管我在 remove_tags 和 links= 中使用了参数，但仍然留下大量标记（并且它似乎没有被破坏的 html），特别是链接，这些链接没有被删除是的

知道发生了什么吗，也许我用 lxml 叫错了树？我认为这是在 python 中解析 html 的方法？

Answer 1

来自 David 的解决方案将不带分隔符的文本连接起来：

   import lxml.html
   document = lxml.html.document_fromstring(html_string)
   # internally does: etree.XPath("string()")(document)
   print document.text_content()

但这一个帮助了我 - 按照我需要的方式连接：

   from lxml import etree
   print "\n".join(etree.XPath("//text()")(document))

Answer 2

不确定这个方法在您提出问题时是否存在，但如果您经历过，

document = lxml.html.document_fromstring(html_text)
raw_text = document.text_content()

应该会返回 html 文档中的所有文本内容，减去所有标记。

Answer 3

我认为你应该看看美丽汤。使用本文中的建议 并按以下方式剥离 HTML 元素：

from BeautifulSoup import BeautifulSoup

''.join(BeautifulSoup(page).findAll(text=True))

其中 page 是您的 html 字符串。

如果您需要进一步说明，可以查看 HTML 解析 中的深入了解 Python 案例研究。