当前位置：文江博客话题详情

Nokogiri 只查找入站链接

发布于 2024-09-03 09:19:42 字数 870 浏览 6 评论 0原文

我有一个 html 文档位于 http://somedomain.com/somedir/example.html

该文档包含四个链接：

http://otherdomain.com/other.html

http://somedomain.com/other.html

/only.html

test.html

如何获取完整网址当前域中的链接？

我的意思是我应该得到：

http://somedomain.com/other.html

http://somedomain.com/only.html

http://somedomain.com/somedir/test.html

第一个链接应被忽略，因为它与我的域不匹配

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

携君以终年 2024-09-10 09:19:42

像这样的东西

doc.search("a").map do |a| 
  url = a.attribute("href")
  #this part could be a lot more robust, but you get the idea...
  full_url = url.match("^http://") ? url : "http://somedomain.com/#{url}"
end.select{|url| url.match("^http://somedomain.com")}

Something like

doc.search("a").map do |a| 
  url = a.attribute("href")
  #this part could be a lot more robust, but you get the idea...
  full_url = url.match("^http://") ? url : "http://somedomain.com/#{url}"
end.select{|url| url.match("^http://somedomain.com")}

回复收藏 0 原文

窗影残 2024-09-10 09:19:42

使用正则表达式从 href="URL" 中提取链接
如果域不以“http”开头，则与域连接

这是一个 Python 示例：

import re
import urlparse

domain = ...
html = ...
links = re.findall('href=[\'"](.*?)[\'"]', html)
links = [urlparse.urljoin(domain, link) for link in links if link]

use a regular expression to extract the links from href="URL"
then concatenate with the domain if it doesn't start with "http"

Here is a Python example:

import re
import urlparse

domain = ...
html = ...
links = re.findall('href=[\'"](.*?)[\'"]', html)
links = [urlparse.urljoin(domain, link) for link in links if link]

回复收藏 0 原文

~没有更多了~