从 URL 中提取 TLD，并对每个 TLD 文件的域和子域进行排序

发布于 2024-12-13 18:24:38 字数 199 浏览 2 评论 0原文

我有一个包含数百万个网址的列表。我需要提取每个网址的 TLD 并为每个 TLD 创建多个文件。例如，收集所有以 .com 作为 tld 的 url，并将其转储到 1 个文件中，将 .edu tld 转储到另一个文件中，依此类推。此外，在每个文件中，我必须按域的字母顺序对其进行排序，然后按子域等进行排序。

任何人都可以给我一个在 perl 中实现此功能的先机吗？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

下壹個目標 2024-12-20 18:24:38

使用 URI 解析 URL，
使用其 host 方法获取主机，
使用 Domain::PublicSuffix 的get_root_domain 解析主机名。
使用tld或suffix方法获取真实TLD或伪TLD。

use feature qw( say );

use Domain::PublicSuffix qw( );
use URI                  qw( );

my $dps = Domain::PublicSuffix->new();

for (qw(
   http://www.google.com/
   http://www.google.co.uk/
)) {
   my $url = $_;

   # Treat relative URLs as absolute URLs with missing http://.
   $url = "http://$url" if $url !~ /^\w+:/;

   my $host = URI->new($url)->host();
   $host =~ s/\.\z//;  # D::PS doesn't handle "domain.com.".

   $dps->get_root_domain($host)
      or die $dps->error();

   say $dps->tld();     # com  uk
   say $dps->suffix();  # com  co.uk
}

Use URI to parse the URL,
Use its host method to get the host,
Use Domain::PublicSuffix's get_root_domain to parse the host name.
Use the tld or suffix method to get the real TLD or the pseudo TLD.

use feature qw( say );

use Domain::PublicSuffix qw( );
use URI                  qw( );

my $dps = Domain::PublicSuffix->new();

for (qw(
   http://www.google.com/
   http://www.google.co.uk/
)) {
   my $url = $_;

   # Treat relative URLs as absolute URLs with missing http://.
   $url = "http://$url" if $url !~ /^\w+:/;

   my $host = URI->new($url)->host();
   $host =~ s/\.\z//;  # D::PS doesn't handle "domain.com.".

   $dps->get_root_domain($host)
      or die $dps->error();

   say $dps->tld();     # com  uk
   say $dps->suffix();  # com  co.uk
}

回复收藏 0 原文

~没有更多了~