在 PHP 中处理大型 JSON 文件

Question

我正在尝试处理稍大（可能高达 200M）的 JSON 文件。 文件的结构基本上是一个对象数组。

因此，大致如下：

[
  {"property":"value", "property2":"value2"},
  {"prop":"val"},
  ...
  {"foo":"bar"}
]

每个对象都具有任意属性，并且不必与数组中的其他对象共享它们（例如，具有相同的属性）。

我想对数组中的每个对象进行处理，并且由于文件可能很大，我无法获取内存中的整个文件内容、解码 JSON 并迭代 PHP 数组。

因此，理想情况下，我想读取该文件，为每个对象获取足够的信息并处理它。 如果有一个类似的可用于 JSON 的库，那么 SAX 类型的方法就可以了。

关于如何最好地处理这个问题有什么建议吗？

Answer 1

我决定开发一个基于事件的解析器。它还没有完全完成，当我推出令人满意的版本时，将使用我的工作链接来编辑问题。

编辑：

我终于设计出了一个令我满意的解析器版本。它可以在 GitHub 上找到：

https://github.com/kuma-giyomu/JSONParser

可能还有一些改进的空间，我欢迎反馈。

Answer 2

最近我制作了一个名为 JSON Machine 的库，它可以有效地解析不可预测的大 JSON 文件。通过简单的 foreach 使用。我自己将它用于我的项目。

示例：

foreach (JsonMachine::fromFile('employees.json') as $employee) {
    $employee['name']; // etc
}

请参阅 https://github.com/halaxa/json-machine

Answer 3

存在类似的东西，但仅适用于 C++ 和 Java。除非您可以从 PHP 访问这些库之一，否则据我所知，除了 json_read() 之外，PHP 中没有其他实现。但是，如果 json 的结构如此简单，则很容易读取文件直到下一个 }，然后处理通过 json_read() 接收到的 JSON。但你应该更好地进行缓冲，比如读取 10kb，用 } 分割，如果没有找到，再读取 10k，然后处理找到的值。然后阅读下一个块，依此类推。

Answer 4

这是一个简单的流式解析器，用于处理大型 JSON 文档。使用它来解析非常大的 JSON 文档，以避免将整个内容加载到内存中，这就是几乎所有其他 PHP JSON 解析器的工作原理。

https://github.com/salsify/jsonstreamingparser

Answer 5

有 http://github.com/sfalvo/php-yajl/ 我没有我自己用它。

Answer 6

我知道 JSON 流解析器 https://github.com/salsify/jsonstreamingparser 已经被提及。但由于我最近（ish）添加了一个新的侦听器，以尝试使其更易于开箱即用，我想我会（进行更改）提供一些有关其功能的信息......

有一个非常关于基本解析器的好文章，位于 https://www. salsify.com/blog/engineering/json-streaming-parser-for-php，但我在标准设置中遇到的问题是您始终必须编写一个侦听器来处理文件。这并不总是一项简单的任务，如果/当 JSON 发生更改时，也可能需要一定量的维护。所以我编写了RegexListener。

基本原则是允许您说出您感兴趣的元素（通过正则表达式）并给它一个回调以说明当它找到数据时要做什么。在读取 JSON 时，它会跟踪每个组件的路径 - 类似于目录结构。所以 /name/forename 或数组 /items/item/2/partid - 这就是正则表达式匹配的内容。

一个示例是（来自 github 上的源代码）。 所以

$filename = __DIR__.'/../tests/data/example.json';
$listener = new RegexListener([
    '/1/name' => function ($data): void {
        echo PHP_EOL."Extract the second 'name' element...".PHP_EOL;
        echo '/1/name='.print_r($data, true).PHP_EOL;
    },
    '(/\d*)' => function ($data, $path): void {
        echo PHP_EOL."Extract each base element and print 'name'...".PHP_EOL;
        echo $path.'='.$data['name'].PHP_EOL;
    },
    '(/.*/nested array)' => function ($data, $path): void {
        echo PHP_EOL."Extract 'nested array' element...".PHP_EOL;
        echo $path.'='.print_r($data, true).PHP_EOL;
    },
]);
$parser = new Parser(fopen($filename, 'r'), $listener);
$parser->parse();

只是几个解释...

'/1/name' => function ($data)

/1 是数组中的第二个元素（从 0 开始），因此这允许访问元素的特定实例。 /name 是 name 元素。然后将该值作为 $data 传递到闭包，

"(/\d*)" => function ($data, $path )

这将选择数组的每个元素并一次传递一个元素，因为它使用捕获组，该信息将作为 传递$路径。这意味着当文件中存在一组记录时，您可以一次处理每个项目。并且无需跟踪即可知道哪个元素。

最后一个

'(/.*/nested array)' => function ($data, $path):

有效地扫描任何称为嵌套数组的元素，并将每个元素及其在文档中的位置一起传递。

我发现的另一个有用的功能是，如果在一个大型 JSON 文件中，您只需要顶部的摘要详细信息，您可以抓取这些位，然后停止...

$filename = __DIR__.'/../tests/data/ratherBig.json';
$listener = new RegexListener();
$parser = new Parser(fopen($filename, 'rb'), $listener);
$listener->setMatch(["/total_rows" => function ($data ) use ($parser) {
    echo "/total_rows=".$data.PHP_EOL;
    $parser->stop();
}]);

当您对其余内容不感兴趣时​​，这可以节省时间。

需要注意的一件事是，这些都会对内容做出反应，因此当找到匹配内容的末尾时，每一个都会被触发，并且可能会以不同的顺序。而且解析器只跟踪您感兴趣的内容并丢弃其他任何内容。

如果您发现任何有趣的功能（有时可怕地称为错误），请告诉我或在 github 页面上报告问题。

Answer 7

我为 PHP 7 编写了一个流式 JSON 拉解析器 pcrov/JsonReader ，其 api 基于 XMLReader。

它与基于事件的解析器显着不同，因为您不是设置回调并让解析器执行其操作，而是调用解析器上的方法来根据需要移动或检索数据。找到您想要的位并想停止解析？然后停止解析（并调用 close() 因为这是一件好事。）

（有关拉式解析器与基于事件的解析器的稍长一点的概述，请参阅 XML 读取器模型：SAX 与 XML 拉式解析器。）

---

示例 1 ：

从 JSON 中读取每个对象作为一个整体。

use pcrov\JsonReader\JsonReader;

$reader = new JsonReader();
$reader->open("data.json");

$reader->read(); // Outer array.
$depth = $reader->depth(); // Check in a moment to break when the array is done.
$reader->read(); // Step to the first object.
do {
    print_r($reader->value()); // Do your thing.
} while ($reader->next() && $reader->depth() > $depth); // Read each sibling.

$reader->close();

输出：

Array
(
    [property] => value
    [property2] => value2
)
Array
(
    [prop] => val
)
Array
(
    [foo] => bar
)

对象以字符串键控数组的形式返回（部分原因）是由于有效 JSON 会生成 PHP 对象中不允许的属性名称的边缘情况。解决这些冲突是不值得的，因为一个贫乏的 stdClass 对象无论如何都不会比简单的数组带来任何价值。

---

示例 2：

单独读取每个命名元素。

$reader = new pcrov\JsonReader\JsonReader();
$reader->open("data.json");

while ($reader->read()) {
    $name = $reader->name();
    if ($name !== null) {
        echo "$name: {$reader->value()}\n";
    }
}

$reader->close();

输出：

property: value
property2: value2
prop: val
foo: bar

---

示例 3：

读取给定名称的每个属性。奖励：从字符串而不是 URI 中读取，再加上从同一对象中具有重复名称的属性中获取数据（这在 JSON 中是允许的，多有趣。）

$json = <<<'JSON'
[
    {"property":"value", "property2":"value2"},
    {"foo":"foo", "foo":"bar"},
    {"prop":"val"},
    {"foo":"baz"},
    {"foo":"quux"}
]
JSON;

$reader = new pcrov\JsonReader\JsonReader();
$reader->json($json);

while ($reader->read("foo")) {
    echo "{$reader->name()}: {$reader->value()}\n";
}

$reader->close();

输出：

foo: foo
foo: bar
foo: baz
foo: quux

---

如何最好地读取 JSON 取决于其结构和内容你想用它做什么。这些示例应该为您提供一个起点。