在 HTML 代码中查找并复制字符串

Question

我正在尝试一些新的东西，我通常会在 C# 或 VB 中执行此操作。但出于速度原因，我想在我的服务器上执行此操作。

1. 打开文件 terms.txt
2. 从 terms.txt 中一次取出一项并打开一个 url（可能是curl 或其他）并转到 http://system.com/set=terms
3. 查看 HTML 源代码并提取图片名称 (stringB)。查找 image=StringB&location
4. 将 StringB 保存到 imgname.txt
5. 关闭文件并循环到 terms.txt 中的下一项

我正在查看 sed 但我相信 awk 可能是最好的方法？这对我来说是全新的，构建这样的命令以在 shell 下运行。我熟悉 Linux 的使用，只需要命令方面的帮助。

Answer 1

应该做，具体取决于 terms.txt 的精确格式（shell 脚本最好处理每行一个条目）以及您是否确实需要解析 HTML（我希望您不需要）：

#! /bin/sh

if [ $# -ne 2 ]; then
    echo "usage: $0 termfile baseurl" >&2
    exit 1
fi
termfile="$1"
baseurl="$2"

while read term; do
    wget -q -O- "$baseurl/set=$term" |
      sed -ne 's/^.*image=\([^&]*\)&.*$/\1/p'
done < "$termfile"

与此不完全不同的东西 将其保存到名为“extractimages”的文件中，chmod +x 它，然后像这样运行它：

$ ./extractimages terms.txt http://system.com > imgname.txt

Answer 2

sed 's|^.*$|wget -q -O- http:\/\/system.com/set=&|' file | bash |sed -ne 's/^.*image=\([^&]*\)&.*$/\1/p'