如何使用扩展名将所有数据从Firestore获取到BigQuery

发布于 2025-01-22 20:52:46 字数 164 浏览 3 评论 0 原文

我是Firebase和BigQuery(以及所有GCP服务)的新手,并且正在尝试使用将Firestore DB连接到BigQuery的Firebase内部的扩展。我似乎已经正确设置了它,但是它仅显示我安装了未来扩展的时间(没有较旧的数据)的数据。我想查看Firestore DB中的所有旧数据和任何新数据。怎么办?

I am new to firebase and bigquery (and all gcp services) and am trying to use the extension inside of firebase that connects my firestore db to BigQuery. I seem to have set it up correctly, but it only shows data from the time I installed the extension going forward (no older data). I would like to see all old data and any new data in my firestore DB. How can this be done?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

冷心人i 2025-01-29 20:52:46

如果您在指定集合中创建,更新,删除或导入文档,则此扩展名将其发送到BigQuery。然后,您可以在此镜像数据集上运行查询。

因此(正如道格(Doug)也发表了评论)它不会导出集合的现有内容,而是从安装扩展名的那一刻起就流式传输更改。

有一个说:

此扩展名仅发送已更改的文档的内容 - 它不会将现有文档的完整数据集导出到BigQuery中。因此,要使用收藏集中的所有文档回填您的BigQuery数据集,您可以运行导入脚本由此扩展提供。

重要:安装此扩展程序后,在整个集合上运行导入脚本,否则所有在导入期间都会写入数据库的所有内容可能会丢失。

From the documentation of the Stream Collections to BigQuery extension:

If you create, update, delete, or import a document in the specified collection, this extension sends that update to BigQuery. You can then run queries on this mirrored dataset.

So (as Doug commented too) it does not export the existing contents of the collection, but rather only streams the changes from the moment you install the extension.

There's a section on backfilling your BigQuery dataset that says:

This extension only sends the content of documents that have been changed -- it does not export your full dataset of existing documents into BigQuery. So, to backfill your BigQuery dataset with all the documents in your collection, you can run the import script provided by this extension.

Important: Run the import script over the entire collection after installing this extension, otherwise all writes to your database during the import might be lost.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文