按顺序从文件中读取行，基于文件结构并行化

Question

我有一个格式如下的文本文件：

itemID_1:
(observation 1 for itemID_1)
(observation 2 for itemID_1)
...
(observation k_1 for itemID_1)
itemID_2:
(observation 1 for itemID_2)
(observation 2 for itemID_2)
...
(observation k_1 for itemID_2)
...

我想创建一个数据框，其中每行是（itemID，观察）（同一 itemID 可以有多行）。

我会像这样在 python 中执行此操作：

rows = []
file = open('my-file.txt')
cur_itemID = None
for line in file:
    if re.match(r'\d*:', line):
        cur_itemID = re.search(r'(\d*):', line)[1]
    else:
        rows.append([cur_itemID, line])

所以我需要按顺序读取文件，但前提是正确的 itemID 与下面的行相关联。如果我们可以同时处理每个项目的行（即从行“itemID_i”开始直到“itemID_{i+1}”），则可以并行化此操作。我不知道如何在 Spark 中做这样的事情，希望得到任何建议。