python pandas：块状大小如何工作？

Question

我有以下代码：

from numpy import dtype
import pandas as pd
import os
import sys

inputFile='data.json'
chunks = pd.read_json(inputFile, lines=True, chunksize = 1000)
original_stdout = sys.stdout

i = 1

for c in chunks:
    location = c.location.str.split(',')
    for b in range(1000):
        print(location[b])
        if not type(location[b]) == float:
            # get the country name
            country = location[b][-1]
        else:
            country = 'unknown'

我正在从包括JSON对象的大文件中提取位置字段。因为文件太大，所以我将其分为1000行的块。我循环浏览每个块并检索所需的信息：

for c in chunks:
    location = c.a.str.split(',')
    for b in range(1000):
        print(location[b])

在第一次迭代期间，一切都顺利进行。在第二次迭代中，行：

print(location[b])

给出错误：

ValueError: 0 is not in range

如何在第一个之后循环凹槽？

感谢您的帮助

Answer 1

问题是，通过做位置[B] ，您正在访问 indote frame index （即，您在这里要求使用该行索引值 b ）。这些块将正确遵循索引，这意味着第一个块将以 0 开始，第二个块由 1000 ，等等。这意味着，索引 0 仅包含在第一个块中。

因此，相反，您需要在没有索引的情况下迭代行：

for row in location:
   # Do something.

实际上，如果您查看错误的完整跟踪，您还将在 value> value> value> value> value> keyError >。

要迭代系列并具有索引，您可以使用 ：

for idx, row in a.iteritems():
   # Do something...