使用正则表达式从列表中删除重复的域

Question

我想使用 PCRE 获取 URI 列表并提取它。

开始：

http://abcd.tld/products/widget1       
http://abcd.tld/products/widget2    
http://abcd.tld/products/review    
http://1234.tld/

结束：

http://abcd.tld/products/widget1
http://1234.tld/

亲爱的 StackOverflow 成员，有什么想法吗？

Answer 1

您可以使用简单的工具，例如 uniq。

请参阅评论中 kobi 的示例：

grep -o "^[^/]*//[^/]*/" urls.txt | sort | uniq

Answer 2

虽然它的效率非常低，但它可以完成......

(?<!^http://\2/.*?$.*)^(http://(.*?)/.*?$)

请不要使用这个

Answer 3

使用 URI 库解析出域，然后将其插入到哈希中。您将覆盖该哈希中已存在的任何 URL，这样您最终将获得唯一的链接。

这是一个 Ruby 示例：

require 'uri'

unique_links = {}

links.each do |l|
  u = URI.parse(l)
  unique_links[u.host] = l
end

unique_links.values # returns an Array of the unique links

Answer 4

如果您可以将整个文件作为单个字符串而不是逐行使用，那么为什么不应该像这样工作呢？ （我不确定字符范围。）

s!(\w+://[a-zA-Z0-9.]+/\S+/)([^ /]+)\n(\1[^ /]+\n)+!\1\2!

Answer 5

如果您的系统

awk -F"/" '{
 s=$1
 for(i=2;i<NF;i++){ s=s"/"$i }
 if( !(s in a) ){ a[s]=$NF }
}
END{
    for(i in a) print i"/"a[i]
} ' file

输出上有 (g)awk

$ ./shell.sh
http://abcd.tld/products/widget1
http://1234.tld/