字符串/HTML 的清理和剥离 - Python

Question

我有一系列问题，但我没有答案。

1) 剥离字符串列表

input:
'item1,   item2, \t\t\t item3, \n\n\n \t, item4, , , item5, '

output:
['item1', 'item2', 'item3', 'item4', 'item5']

还有比执行以下操作更有效的方法吗？

[x.strip() for x in l.split(',') if x.strip()]

2) 清理/清理 HTML

保留基本标签，例如 Strong、p、br , ...

删除恶意 javascript、css 和 div

3) Unicode 处理...

对于处理文档中解析的 unicode，您有何建议？

---

有什么想法吗？ :) 谢谢大家！

Answer 1

要清理 HTML，请使用 lxml.html

import lxml.html
text = lxml.html.fromstring("...")
text.text_content()

Answer 2

对于第一个，您可以使用 split 然后列表理解来修剪多余的空格：

result = [x.strip() for x in i.split(',')]

并从列表中删除空字符串：

result = [x for x in result if x]

Answer 3

我倾向于编写多个级联生成器，特别是如果我希望某些输出成为测试的一部分：

stripped_iter = (x.strip() for x in l.split(','))
non_empty_iter = (x for x in stripped_iter if x)

灵感来自 Beazley 的 关于协程的演示。

Answer 4

我是 python Web 开发的初学者，但对于清理/清理 html，我发现 markdown2 库有一些非常好的功能。您可以将其与 MarkItUp! 基于 jQuery 的编辑器一起使用。它们可能无法解决您的所有问题，但可能会帮助您在短时间内完成大量工作。

Answer 5

1) 您可以使用 strip 方法

2) 您可以使用 sanitize ， http://wonko.com/post/sanitize< /a>

3) 这里有一些 unicode 提示： http: //blog.trydionel.com/2010/03/23/some-unicode-tips-for-ruby/

Answer 6

1) [j.strip() for j in a.split(',') if j.strip()]

2) 检查 整洁