将Tranco Google BigQuery与Metabase连接

发布于 2025-01-25 23:33:33 字数 904 浏览 2 评论 0原文

我正在尝试连接第三方排名管理系统( https://tranco-list.eu/ ) metabase。 Tranco为我们提供了一个选项,可以在Google BigQuery上查看记录,但是当我试图将Tranco与Metabase连接起来时,它是从我的Google Cloud Console Project中要求数据集的。由于Tranco是一个外部数据库源,因此我无法访问此数据集ID。

如果您想在Google BigQuery中获得Tranco的结果,请在查询下运行。

select * from `tranco.daily.daily` where domain ='google.com' limit 10

当我在public数据集中搜索tranco时,我也没有找到它们。有人知道吗,如何将第三方数据集添加到我们的Google Cloud项目中。

“

谢谢。

I am trying to connect third party ranking management system (https://tranco-list.eu/) with metabase. Tranco is giving us an option to see the record on Google BigQuery but when I am trying to connect the Tranco with Metabase then it is asking for dataset from my Google cloud console project. Since Tranco is an external database source and I don't have access to the dataset Id from this.

If you want to get the result of tranco in Google BigQuery then run below query.

select * from `tranco.daily.daily` where domain ='google.com' limit 10

When I am searching Tranco in public dataset then also I am not finding this over their also. Is anyone aware of, how to add the third party dataset to our Google cloud project.

Metabase view

Google cloud console to add the Public dataset

Thanks in advance.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

半世晨晓 2025-02-01 23:33:33

不幸的是,您无法直接从BigQuery读取Tranco数据集;但是,您可以做的是将CSV数据从Tranco加载到云存储存储桶中,然后在BigQuery中读取您的存储桶。

当您将数据从云存储中加载到大Query表中时,包含该表的数据集必须与云存储存储桶相同的区域或多区域位置。

请注意,它具有下一个限制:

  • csv文件不支持嵌套或重复的数据。

  • 删除字节订单标记(BOM)字符。他们可能导致意外
    问题。

  • 如果您使用GZIP压缩,那么BigQuery将无法读取数据
    平行线。将压缩的CSV数据加载到BigQuery中比
    加载未压缩的数据。

  • 您不能将压缩和未压缩的文件同时包含在同一文件中
    负载作业。

  • GZIP文件的最大尺寸为4 GB。当您加载CSV或JSON时
    数据,日期列中的值必须使用仪表板( - )分离器和
    日期必须采用以下格式:yyyy-mm-dd(每年月)。

  • 加载JSON或CSV数据时,时间戳列中的值必须使用
    时间戳日期部分的破折号( - )分隔符,
    日期必须采用以下格式:yyyy-mm-dd(每年)。
    HH:MM:时间戳的SS(每小时)部分必须使用
    结肠(:)分离器。

另外,您可以看到此

以及在

Unfortunately, you can’t read the Tranco dataset directly from BigQuery; but, what you can do is to load the CSV data from Tranco into a Cloud Storage Bucket and then read your bucket in BigQuery.

When you load data from Cloud Storage into a BigQuery table, the dataset that contains the table must be in the same regional or multi- regional location as the Cloud Storage bucket.

Note that it has the next limitations:

  • CSV files do not support nested or repeated data.

  • Remove byte order mark (BOM) characters. They might cause unexpected
    issues.

  • If you use gzip compression, BigQuery cannot read the data in
    parallel. Loading compressed CSV data into BigQuery is slower than
    loading uncompressed data.

  • You cannot include both compressed and uncompressed files in the same
    load job.

  • The maximum size for a gzip file is 4 GB. When you load CSV or JSON
    data, values in DATE columns must use the dash (-) separator and the
    date must be in the following format: YYYY-MM-DD (year-month-day).

  • When you load JSON or CSV data, values in TIMESTAMP columns must use
    a dash (-) separator for the date portion of the timestamp, and the
    date must be in the following format: YYYY-MM-DD (year-month-day).
    The hh:mm:ss (hour-minute-second) portion of the timestamp must use a
    colon (:) separator.

Also, you can see this documentation if you don’t know how you can upload and read your CSV data.

And also in the next link I'm sending you is a step by step guide in how yo can create / select the bucket you will use.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文