使用 jersey-1.7 在 Google Appengine 上上传分段文件

Question

我用 Jersey 在 Google Appengine 上编写了一个应用程序来处理简单的文件上传。这在 jersey 1.2 上运行得很好。在更高版本（当前为 1.7）中，引入了 @FormDataParam 来处理多部分/表单输入。我正在使用 jersey-multipart 和 mimepull 依赖项。似乎新的做法是在 AppEngine 中创建临时文件，我们都知道这是非法的...

因为 Jersey 现在据称与 AppEngine 兼容，所以我是否在这里遗漏了某些内容或做错了什么？

@POST 
@Path("upload") 
@Consumes(MediaType.MULTIPART_FORM_DATA) 
public void upload(@FormDataParam("file") InputStream in) { .... }

当调用这些异常时，上面的方法将会失败......

/upload
java.lang.SecurityException: Unable to create temporary file
    at java.io.File.checkAndCreate(File.java:1778)
    at java.io.File.createTempFile(File.java:1870)
    at java.io.File.createTempFile(File.java:1907)
    at org.jvnet.mimepull.MemoryData.createNext(MemoryData.java:87)
    at org.jvnet.mimepull.Chunk.createNext(Chunk.java:59)
    at org.jvnet.mimepull.DataHead.addBody(DataHead.java:82)
    at org.jvnet.mimepull.MIMEPart.addBody(MIMEPart.java:192)
    at org.jvnet.mimepull.MIMEMessage.makeProgress(MIMEMessage.java:235)
    at org.jvnet.mimepull.MIMEMessage.parseAll(MIMEMessage.java:176)
    at org.jvnet.mimepull.MIMEMessage.getAttachments(MIMEMessage.java:101)
    at com.sun.jersey.multipart.impl.MultiPartReaderClientSide.readMultiPart(MultiPartReaderClientSide.java:177)
    at com.sun.jersey.multipart.impl.MultiPartReaderServerSide.readMultiPart(MultiPartReaderServerSide.java:80)
    at com.sun.jersey.multipart.impl.MultiPartReaderClientSide.readFrom(MultiPartReaderClientSide.java:139)
    at com.sun.jersey.multipart.impl.MultiPartReaderClientSide.readFrom(MultiPartReaderClientSide.java:77)
    at com.sun.jersey.spi.container.ContainerRequest.getEntity(ContainerRequest.java:474)
    at com.sun.jersey.spi.container.ContainerRequest.getEntity(ContainerRequest.java:538)

有人知道吗？有没有办法在阻止 mimepull 创建临时文件的同时做一些事情？

Answer 1

对于超出默认大小的文件，multipart 将创建一个临时文件。为了避免这种情况（在 gae 上创建文件是不可能的），您可以在项目的资源文件夹中创建一个 jersey-multipart-config.properties 文件，并向其中添加以下行：

bufferThreshold = -1

然后，代码就是你给了：

@POST
@Consumes(MediaType.MULTIPART_FORM_DATA)
public Response post(@FormDataParam("file") InputStream stream, @FormDataParam("file") FormDataContentDisposition disposition) throws IOException {
  post(file, disposition.getFileName());
  return Response.ok().build();
}

Answer 2

为了那些在使用 Eclipse 和 GPE（Eclipse 的 Google 插件）时遇到困难的人的利益，我给出了这个从 @yves 的答案中衍生出来的稍微修改的解决方案。

我已使用 App Engine SDK 1.9.10 和 Jersey 2.12 对其进行了测试。 它不适用于App Engine SDK 1.9.6 -> 1.9.9 等由于不同的问题。

在您的 \war\WEB-INF\classes 文件夹下创建一个名为 jersey-multipart-config 的新文件.properties。编辑该文件，使其包含行 jersey.config.multipart.bufferThreshold = -1。

请注意，\classes 文件夹在 Eclipse 中是隐藏的，因此请在操作系统的文件资源管理器（例如 Windows 资源管理器）中查找该文件夹。

现在，当 multipart 功能初始化时（在 Jersey servlet 初始化时）和文件上传完成时（在 Jersey servlet post 请求时），将不再创建临时文件，GAE 也不会抱怨。

Answer 3

将文件 jersey-multipart-config.properties 放在 WAR 内的 WEB-INF/classes 下非常重要。

通常在 WAR 文件结构中，您将配置文件（web.xml、appengine-web.xml）放入 WEB-INF/ 中，但是这里你需要放入WEB-INF/classes。

Maven 配置示例：

        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-war-plugin</artifactId>
            <version>2.4</version>
            <configuration>
                <archiveClasses>true</archiveClasses>
                <webResources>
                    <resource>
                        <directory>${basedir}/src/main/webapp/WEB-INF</directory>
                        <filtering>true</filtering>
                        <targetPath>WEB-INF</targetPath>
                    </resource>
                    <resource>
                        <directory>${basedir}/src/main/resources</directory>
                        <targetPath>WEB-INF/classes</targetPath>
                    </resource>
                </webResources>
            </configuration>
        </plugin>

您的项目结构可能如下所示：

jersey-multipart-config.properties 的内容 与 Jersey 2.x:

jersey.config.multipart.bufferThreshold = -1

Answer 4

我找到了以编程方式避免使用临时文件创建的解决方案（对于 GAE 实现非常有用）

我的解决方案包括在我的代码下面创建一个新的 MultiPartReader Provider ...

---

  @Provider
    @Consumes("multipart/*")
    public class GaeMultiPartReader implements MessageBodyReader<MultiPart> {

    final Log logger = org.apache.commons.logging.LogFactory.getLog(getClass());

    private final Providers providers;

    private final CloseableService closeableService;

    private final MIMEConfig mimeConfig;

    private String getFixedHeaderValue(Header h) {
        String result = h.getValue();

        if (h.getName().equals("Content-Disposition") && (result.indexOf("filename=") != -1)) {
            try {
                result = new String(result.getBytes(), "utf8");
            } catch (UnsupportedEncodingException e) {            
                final String msg = "Can't convert header \"Content-Disposition\" to UTF8 format.";
                logger.error(msg,e);
                throw new RuntimeException(msg);
            }
        }

        return result;
    }

    public GaeMultiPartReader(@Context Providers providers, @Context MultiPartConfig config,
        @Context CloseableService closeableService) {
        this.providers = providers;

        if (config == null) {
            final String msg = "The MultiPartConfig instance we expected is not present. "
                + "Have you registered the MultiPartConfigProvider class?";
            logger.error( msg );
            throw new IllegalArgumentException(msg);
        }
        this.closeableService = closeableService;

        mimeConfig = new MIMEConfig();
        //mimeConfig.setMemoryThreshold(config.getBufferThreshold());
        mimeConfig.setMemoryThreshold(-1L); // GAE FIX
    }

    @Override
    public boolean isReadable(Class<?> type, Type genericType, Annotation[] annotations, MediaType mediaType) {
        return MultiPart.class.isAssignableFrom(type);
    }

    @Override
    public MultiPart readFrom(Class<MultiPart> type, Type genericType, Annotation[] annotations, MediaType mediaType,
        MultivaluedMap<String, String> headers, InputStream stream) throws IOException, WebApplicationException {
        try {
            MIMEMessage mm = new MIMEMessage(stream, mediaType.getParameters().get("boundary"), mimeConfig);

            boolean formData = false;
            MultiPart multiPart = null;

            if (MediaTypes.typeEquals(mediaType, MediaType.MULTIPART_FORM_DATA_TYPE)) {
                multiPart = new FormDataMultiPart();
                formData = true;
            } else {
                multiPart = new MultiPart();
            }

            multiPart.setProviders(providers);

            if (!formData) {
                multiPart.setMediaType(mediaType);
            }

            for (MIMEPart mp : mm.getAttachments()) {
                BodyPart bodyPart = null;

                if (formData) {
                    bodyPart = new FormDataBodyPart();
                } else {
                    bodyPart = new BodyPart();
                }

                bodyPart.setProviders(providers);

                for (Header h : mp.getAllHeaders()) {
                    bodyPart.getHeaders().add(h.getName(), getFixedHeaderValue(h));
                }

                try {
                    String contentType = bodyPart.getHeaders().getFirst("Content-Type");

                    if (contentType != null) {
                        bodyPart.setMediaType(MediaType.valueOf(contentType));
                    }

                    bodyPart.getContentDisposition();
                } catch (IllegalArgumentException ex) {
                    logger.error( "readFrom error", ex );
                    throw new WebApplicationException(ex, 400);
                }

                bodyPart.setEntity(new BodyPartEntity(mp));
                multiPart.getBodyParts().add(bodyPart);
            }

            if (closeableService != null) {
                closeableService.add(multiPart);
            }

            return multiPart;
        } catch (MIMEParsingException ex) {
            logger.error( "readFrom error", ex );
            throw new WebApplicationException(ex, 400);
        }
    }

}

Answer 5

我们遇到了类似的问题，Jetty 不允许我们上传超过 9194 字节的文件，（突然 - 有一天），我们后来意识到有人从 /tmp（对应于 java.io）获取了我们的用户访问权限。 tmpdir 在某些 Linux 版本上，因此 Jetty 无法将上传的文件存储在那里，我们收到 400 错误。