使用java实现公共后缀提取

Question

我需要提取网址的顶级域，我得到了他的 http://publicsuffix.org/index.html

并且 java 实现位于 http://guava-libraries.googlecode .com 我找不到 任何提取域名的示例

say example..
example.google.com
returns google.com

and bing.bing.bing.com
returns bing.com

都可以告诉我如何通过示例使用该库来实现......

Answer 1

在我看来就像 InternetDomainName.topPrivateDomain() 完全符合您的要求。 Guava 维护一个公共后缀列表（基于 publicsuffix.org 上的 Mozilla 列表），它用它来确定主机的公共后缀部分是什么……顶级私有域是公共后缀加上它的第一个子域。

这是一个简单的示例：

public class Test {
  public static void main(String[] args) throws URISyntaxException {
    ImmutableList<String> urls = ImmutableList.of(
        "http://example.google.com", "http://google.com", 
        "http://bing.bing.bing.com", "http://www.amazon.co.jp/");
    for (String url : urls) {
      System.out.println(url + " -> " + getTopPrivateDomain(url));
    }
  }

  private static String getTopPrivateDomain(String url) throws URISyntaxException {
    String host = new URI(url).getHost();
    InternetDomainName domainName = InternetDomainName.from(host);
    return domainName.topPrivateDomain().name();
  }
}

运行此代码会打印：

http://example.google.com -> google.com
http://google.com -> google.com
http://bing.bing.bing.com -> bing.com
http://www.amazon.co.jp/ -> amazon.co.jp

Answer 2

我最近实现了一个公共后缀列表 API：

PublicSuffixList suffixList = new PublicSuffixListFactory().build();

assertEquals(
    "google.com", suffixList.getRegistrableDomain("example.google.com"));

assertEquals(
    "bing.com", suffixList.getRegistrableDomain("bing.bing.bing.com"));

assertEquals(
    "amazon.co.jp", suffixList.getRegistrableDomain("www.amazon.co.jp"));

Answer 3

编辑：抱歉我有点太快了。我没想到co.jp。英国等。您需要从某处获取可能的 TLD 列表。您还可以查看 http://commons.apache.org/validator/ 来验证顶级域名。

我认为这样的东西应该可以工作：但也许存在一些Java标准函数。

String url = "http://www.foobar.com/someFolder/index.html";
if (url.contains("://")) {
  url = url.split("://")[1];
}

if (url.contains("/")) {
  url = url.split("/")[0];
}

// You need to get your TLDs from somewhere...
List<String> magicListofTLD = getTLDsFromSomewhere();

int positionOfTLD = -1;
String usedTLD = null;
for (String tld : magicListofTLD) {
  positionOfTLD = url.indexOf(tld);
  if (positionOfTLD > 0) {
    usedTLD = tld;
    break;
  }
}

if (positionOfTLD > 0) {
  url = url.substring(0, positionOfTLD);
} else {
  return;
}
String[] strings = url.split("\\.");

String foo = strings[strings.length - 1] + "." + usedTLD;
System.out.println(foo);