Android AWS s3 SDK 下载抛出“套接字已关闭”错误例外或提前终止

Question

我正在尝试使用 AWS Android SDK 1.0.4 或 1.0.3 从 S3 下载对象。

这是我的代码：

AmazonS3Client client = getConnection(userCredentials);
S3Object obj = client.getObject(workspaceName, objectName);
ObjectMetadata meta = obj.getObjectMetadata();
long size = meta.getContentLength();
logger.info("S3 object length: "+size);
InputStream is = new BufferedInputStream(obj.getObjectContent());
byte[] fragmentBytes = IOUtils.toByteArray(is);
logger.info("Read bytes: "+ fragmentBytes.length);

有时（很少）有效。大多数情况下，要么抛出“java.net.SocketException：Socket is close”，要么不报告错误，但只读取对象的一部分。

请注意，BufferedInputStream 对于 IOUtils.toByteArray(...) 来说不是必需的，并且它存在或不存在也没有什么区别。

在调试器中逐行单步执行代码时似乎不会出现该问题。

我的 Android 2.3.3 设备和 3.2 设备上会发生这种情况。它通过 WiFi 和 3G 进行。

有什么想法吗？

附注>这些物体大约有 250k 大

Answer 1

问题是客户端正在被垃圾收集。要修复此问题，您需要保留对 S3Client 的显式引用。

该错误的流程如下：

1. 程序获取 S3 客户端
2. 程序从客户端获取 S3 对象。
3. 程序从 s3Object 获取 inputStream，s3Object 通过客户端获取。
4. 垃圾收集运行，并且由于没有对客户端的引用，因此它会收集垃圾，随机关闭您的输入流。

IMO，这是亚马逊的一个非常严重的错误。为什么 S3 对象输入流没有返回客户端的引用对我来说是一个谜。

以下是 AWS 论坛上的主题：https://forums.aws.amazon.com /thread.jspa?threadID=83326

Answer 2

您可能已经解决了这个问题，但我找不到正确的答案，最终自己解决了这个问题，所以解决方案如下：

getObjectContent 方法文档非常清楚有关关闭 InputStream 的信息：

S3ObjectInputStream com.amazonaws.services.s3.model.S3Object.getObjectContent()

获取包含该对象内容的输入流。调用者应尽快关闭此输入流，因为对象内容不会在内存中缓冲并直接从 Amazon S3 进行流式传输。

您犯了与我使用 InputStream (S3Object) 相同的错误，就好像闭包是透明的一样。

我猜您需要从 S3 获取图像才能在 Android 上使用，因此这里有一个返回位图的示例方法。它确实适用于任何类型的输入。

private Bitmap getFromStore(String fileName) {
    AmazonS3Client client = new AmazonS3Client(new BasicAWSCredentials(ACCESS_KEY, SECRET_KEY));

    S3Object o = client.getObject(BUCKET, fileName);
    InputStream is = o.getObjectContent();

    Bitmap image = null;

    try {   
        // Use the inputStream and close it after.
        image = BitmapFactory.decodeStream(is);
    } finally {
        try {
            is.close();
        } catch (IOException e) {
            Log.w(TAG, "Error trying to close image stream. ", e);
        }
    }

    return image;
}

以防万一，不要忘记在与 UI 不同的线程上执行此操作。

祝你好运，

Answer 3

嗯，看来你并不孤单。帖子中接受的答案谈到了您的问题。

如何将 S3 对象写入文件？

我会尝试循环内容，就像上面问题的答案一样。 Buffered 很好，但是……

你也可以尝试不使用 IOUtil，毕竟 java 中还有其他选项。

Answer 4

无需不断重新初始化 s3。

在 onCreate 中，调用初始化 s3Object 和 s3Client。

然后在您的asynctask中使用该调用。这样，您的 s3Client 将保留相同的数据，并且在执行 while 读取时永远不会关闭与 s3 的套接字连接。

S3Client s3Client;
S3Object s3Object;

onCreate() {
     s3Client = new AmazonS3Client(new BasicSessionCredentials(
                  Constants.ACCESS_KEY_ID, Constants.SECRET_KEY, Constants.TOKEN
                ));
     object = new S3Object();
}

doinbackground() {
     object = s3Client.getObject(new GetObjectRequest(Constants.getBucket(), id +".png"));
}

/****** add this in your onCreate ******/
AmazonS3Client client = getConnection(userCredentials);