使用 Python 进行 ETL
我正在开发一个数据仓库，并正在寻找使用 Python 的 ETL 解决方案。 我曾使用 SnapLogic 作为 ETL，但我想知道是否还有其他解决方案。
这个数据仓库才刚刚开始。我还没有带任何数据过来。我想加载到其中的初始数据子集很容易就会超过 100 GB。
I am working on a data warehouse and looking for an ETL solution that uses Python.
I have played with SnapLogic as an ETL, but I was wondering if there were any other solutions out there.
This data warehouse is just getting started. Ihave not brought any data over yet. It will easily be over 100 gigs with the initial subset of data I want to load into it.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（3）
是的。只需使用数据库的 DB-API 接口编写 Python 即可。
大多数 ETL 程序提供了奇特的“高级语言”或拖放式 GUI，但没有多大帮助。
Python 同样具有表现力并且易于使用。
避免混淆。只需使用普通的 Python 即可。
我们每天都这样做，我们对结果非常非常满意。它简单、清晰、有效。
Yes. Just write Python using a DB-API interface to your database.
Most ETL programs provide fancy "high-level languages" or drag-and-drop GUI's that don't help much.
Python is just as expressive and just as easy to work with.
Eschew obfuscation. Just use plain-old Python.
We do it every day and we're very, very pleased with the results. It's simple, clear and effective.
您可以使用 python 提供的库 pyodbc 从各种数据库源中提取数据。然后使用 pandas 数据框根据组织需求来操作和清理数据。然后用
pyodbc将其加载到您的数据仓库中。You can use
pyodbca library python provides to extract data from various Database Sources. And than usepandasdataframes to manipulate and clean the data as per the organizational needs. And thanpyodbcto load it to your data warehouse.你们可能都想看看 Zed 湖。它允许您将各种数据格式加载到数据“池”中。加载后，您可以使用 Zed 语言将其转换为您需要的任何内容。我发现 Zed 语言比尝试使用 SQL 进行 ETL 容易得多。它也可以扩展。
You all may want to check out the Zed lake. It lets you load a variety of data formats into data "pools". Once loaded you can use the Zed Language to transform it into whatever you need. I find the Zed language to be way easier than trying to do ETL with SQL. It can scale too.