在气流上运行DBT时如何减少解析器过程
我在气流上运行DBT版本1.0.4。我的ETL管道运行良好。
但是我注意到，每次在气流上运行的DBT都需要很长时间来解析文件。日志中的一些行： [2022-06-14 05：06：54,523] {subprocess.py:78}信息 - 05：06：06：54.506639 [debug] [abinthread]
[2022-06-14 05：06：55,826] {subprocess.py：78}信息 - 05：06：06：55.809703 [debug] [debug] [mainthread]：1605：jinja Rendering，因为static_parser flag。文件：mart/domain_1/model_1.sql，
由于我的项目很大，因此需要花费时间才能实际运行查询。
那么，我有什么办法绕过解析吗？
I am running dbt version 1.0.4 on Airflow. My ETL pipeline is running fine.
But I notice that dbt takes a long time to parse files every time it run on Airflow. Some lines in the log:[2022-06-14 05:06:54,523] {subprocess.py:78} INFO - 05:06:54.506639 [debug] [MainThread]: Parsing macros/common/helpers/dropif.sql
[2022-06-14 05:06:55,826] {subprocess.py:78} INFO - 05:06:55.809703 [debug] [MainThread]: 1605: jinja rendering because of STATIC_PARSER flag. file: mart/domain_1/model_1.sql
Since my project is quite big, it takes a looooong time to actual run the query.
So, is there any way for me to bypass the parsing?
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
我添加
- 无静态parser。但是我想减少更多的解析时间。I add
--no-static-parser. But I want to reduce more parsing time.