python SDK代码示例Apache Beam中可分布的DOFNS

Question

我正在用Python创建一个数据流管线，因为我想访问并跟踪处理的文件名。

一切正常，直到我的文件很小。在大型文件（GB的数据）上运行时，数据流作业不是执行的或可扩展的。

我有一个使用可分解的帕多族（DOFN）的解决方案，该解决方案我先前使用Java实施，但是现在首选的语言是Python。

问题在于我找不到任何像样的代码段（示例），这些代码段将解释如何在Python SDK中实现可分布的Pardo（DOFNS）。

我在Beam文档中找到了一个代码示例 https://beam.apache.org.org.org.org.org.org /blog/abletable-do-fn/，但就我尝试的而言，这并不正确。

class CountFn(DoFn):
  def process(element, tracker=DoFn.RestrictionTrackerParam)
    for i in xrange(*tracker.current_restriction()):
      if not tracker.try_claim(i):
        return
      yield element[0], i

  def get_initial_restriction(element):
    return (0, element[1])

在此示例中，我们将Tracker = dofn.grestrictionaltrackerparam在过程方法中，但是正如我所看到的，DOFN类没有任何参数限制性TrackerParam。

就我测试而言，此示例还不完整。

我可以在python SDK中获得一个可分布的DOFN的体面示例来获得一些帮助。