如何使用 Databricks Connect 获取文件元数据?
我正在使用 Azure Databricks,我已将其连接到数据湖,并且我想要获取元数据,例如数据湖中文件的修改日期。我可以使用 os.stat()
在 Databricks 本身内执行此操作,如此答案,但我正在使用 Databricks connect 在本地进行开发,并且无法弄清楚如何在本地测试它,因为它只有本地文件系统的上下文。
I am using Azure Databricks, which I have hooked up to a data lake and I want to get metadata such as modified date for the files in the lake. I am able to do this within Databricks itself using os.stat()
as detailed in this answer, but I am developing locally using Databricks connect, and can't figure out how to test it locally given it only has context of my local file system.
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论