Azure Databricks管道由于依赖性而失败
我们有一个Databricks管道,大多数时候它成功运行一次每6小时运行一次,但是有时通过投掷以下错误而失败,
ModuleNotFoundError: No module named '<module-name>'
我是Databricks的新手,任何人都可以告诉我如何解决它。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
一些因库将无法正常工作是基本环境。建立虚拟环境是强烈建议的。
请按照链接在数据砖中创建虚拟环境:
请参考以下链接,以使用databricks连接pyodbc。
https://docs.databricks.com/dabricks.com/dev-tools/dev-tools/dev-tools/dev-tools/pyodbc.htbc.html
Some of the dependent libraries will not be working fine is base environment. It's highly suggestable to create virtual environment.
Follow the link to create virtual environment in Data Bricks: https://learn.microsoft.com/en-us/azure/databricks/runtime/conda
Refer the following link to connect pyodbc with databricks.
https://docs.databricks.com/dev-tools/pyodbc.html