如何使用 Databricks Connect 获取文件元数据?

发布于 2025-01-15 07:51:36 字数 248 浏览 2 评论 0原文

我正在使用 Azure Databricks,我已将其连接到数据湖,并且我想要获取元数据,例如数据湖中文件的修改日期。我可以使用 os.stat() 在 Databricks 本身内执行此操作,如此答案,但我正在使用 Databricks connect 在本地进行开发,并且无法弄清楚如何在本地测试它,因为它只有本地文件系统的上下文。

I am using Azure Databricks, which I have hooked up to a data lake and I want to get metadata such as modified date for the files in the lake. I am able to do this within Databricks itself using os.stat() as detailed in this answer, but I am developing locally using Databricks connect, and can't figure out how to test it locally given it only has context of my local file system.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文