在 Amazon S3 中逐行读取文件？

Question

是否可以使用 Amazon S3 逐行读取文件？我希望让人们在某个地方上传大文件，然后让一些代码（可能在亚马逊上运行）逐行读取他们的文件并用它做一些事情，可能以地图减少的多线程方式。或者也许一次只能加载 1000 行...有什么建议吗？

Answer 1

Amazon S3 确实支持范围请求，但其设计目的不是逐行读取文件。

不过，看起来 Amazon Elastic MapReduce 可能很适合您的情况寻找。 S3 和所使用的 EC2 实例之间的传输速度非常快，然后您可以按照您喜欢的任何方式分配工作。

Answer 2

下面是一个使用 PHP 7 和 Laravel 5 的简单示例，说明如何从 Amazon S3 逐行读取文件：

S3StreamReader.php

<?php
declare(strict_types=1);

namespace App\Helpers\Json;

use App\Helpers\S3StreamFactory;
use Generator;
use SplFileObject;

final class S3StreamReader
{
    /**
     * @var \App\Helpers\S3StreamFactory
     */
    private $streamFactory;


    /**
     * @param \App\Helpers\S3StreamFactory $s3StreamFactory
     */
    public function __construct(S3StreamFactory $s3StreamFactory)
    {
        $this->streamFactory = $s3StreamFactory;
    }

    /**
     * @param string $filename
     * @return \Generator
     */
    public function get(string $filename): Generator
    {
        $file = new SplFileObject($this->streamFactory->create($filename), 'r');

        while (!$file->eof()) {
            yield $file->fgets();
        }
    }
}

S3StreamFactory.php

<?php
declare(strict_types=1);

namespace App\Helpers;

use League\Flysystem\AwsS3v3\AwsS3Adapter;

final class S3StreamFactory
{
    /**
     * @var \League\Flysystem\AwsS3v3\AwsS3Adapter
     */
    private $adapter;


    /**
     * @param \League\Flysystem\AwsS3v3\AwsS3Adapter $adapter
     */
    public function __construct(AwsS3Adapter $adapter)
    {
        $this->adapter = $adapter;
        $adapter->getClient()->registerStreamWrapper();
    }

    /**
     * @param string $filename
     * @return string
     */
    public function create(string $filename): string
    {
        return "s3://{$this->adapter->getBucket()}/{$filename}";
    }
}

使用示例：

$lines = (new S3JsonReader(new S3StreamFactory(Storage::disk('s3')->getAdapter())))->get($sourceFile);

while ($lines->valid()) {
    $line = $lines->current();
    // do something with the current line...
    $lines->next();
}

即使您不使用 Laravel ，您仍然可以使用此代码，因为 Laravel 仅使用 league/flysystem-aws-s3-v3 包。

Answer 3

这是 PHP 中的一个示例片段，它似乎可以满足您的要求（抓取 file.txt 中的前 1000 行并将它们连接起来）。这有点遗憾，但这个想法可以用其他语言或使用其他技术来实现。关键是像对待 Windows 或 Linux 等任何其他文件系统一样对待 S3，唯一的区别是您使用 S3 密钥凭据并将文件路径设置为 s3://your_directory_tree/your_file.txt”：

<?php 
    set_time_limit(0); 
    include("gs3.php"); 
    /* fake keys!, please put yours */ 
    define('S3_KEY', 'DA5S4D5A6S4D'); 
    define('S3_PRIVATE','adsadasd');

    $f = fopen('s3://mydir/file.txt', 'r');
    $c = "";
    $d = 0;

    $handle = @fopen('s3://mydir/file.txt', "r");
    if ($handle) {
        while (($buffer = fgets($handle)) !== false  && $d < 1000) {
            $c .= $buffer; /* concatenate the string (newlines attached)*/
            $d += 1; /* increment the count*?
        }
        if (!feof($handle)) {
            echo "Error: unexpected fgets() fail\n";
        }
        else{
            print "$c"
        }

        fclose($handle);
    }
?>