使用 wget 和 regex 进行数据抓取

Question

我刚刚学习 bash 脚本，我试图从网站上抓取一些数据，主要是维基词典。这就是我现在正在命令行上尝试的，但它没有返回任何结果

wget -qO- http://en.wiktionary.org/wiki/robust | egrep '<ol>{[a-zA-Z]*[0-9]*}*</ol>'

我正在尝试的是获取标签之间的数据，只是希望它们被显示。你能帮我找出我做错了什么吗？

谢谢

Answer 1

您需要将输出发送到 stdout:

wget -q http://en.wiktionary.org/wiki/robust -q -O - | ...

以使用 grep 获取所有

标记，您可以执行以下操作：

wget -q http://en.wiktionary.org/wiki/robust -O - | tr '\n' ' ' | grep -o '<ol>.*</ol>'

Answer 2

至少您需要

• 通过添加 -e 开关来激活正则表达式。
• 通过添加 -O - 选项将 wget 的输出发送到 stdout 而不是发送到磁盘

老实说，我想说 grep 是执行此任务的错误工具，因为 grep 是按行工作的，并且你的表情有好几行。

我认为 sed 或 awk 更适合这项任务。

使用 sed ，它看起来像

wget -O - -q http://en.wiktionary.org/wiki/robust | sed -n "/<ol>/,/<\/ol>/p"

如果你想摆脱额外的

和

你可以做追加

... | grep -v -E "</?ol>"

相关链接

• https://superuser.com/questions/165634/grep-multiline-pattern
• http://www.unix.com/unix-dummies-questions-answers/56703-multiline-grep.html

Answer 3

如果我正确理解了这个问题，那么目标是从 ol-sections 中提取可见的文本内容。我会这样做：

wget -qO- http://en.wiktionary.org/wiki/robust | 
  hxnormalize -x | 
  hxselect "ol" | 
  lynx -stdin -dump -nolist

[来源："Using the Linux Shell for Web Scraping"]

hxnormalize 预处理 hxselect 的 HTML 代码，该代码应用 CSS 选择器“ol”。 Lynx 将渲染代码并将其缩减为浏览器中可见的内容。