大型电子表格的 Apache POI Java Excel 性能

Question

我有一个电子表格，我试图用 POI 读取（我有 xls 和 xlsx 格式），但在这种情况下，问题出在 xls 文件上。我的电子表格大约有 10,000 行和 75 列，读取它可能需要几分钟的时间（尽管 Excel 在几秒钟内打开）。我使用基于事件的读取，而不是将整个文件读入内存。我的代码的核心内容如下。现在有点混乱，但它实际上只是一个很长的 switch 语句，大部分是从 POI 示例中复制的。

使用事件模型的 POI 性能是否通常如此缓慢？我可以做些什么来加快速度吗？我认为几分钟对于我的申请来说是不可接受的。

    POIFSFileSystem poifs = new POIFSFileSystem(fis);
    InputStream din = poifs.createDocumentInputStream("Workbook");
    try
    {
        HSSFRequest req = new HSSFRequest();
        listener = new FormatTrackingHSSFListener(new HSSFListener() {
            @Override
            public void processRecord(Record rec)
            {
                thisString = null;
                int sid = rec.getSid();
                switch (sid)
                {
                    case SSTRecord.sid:
                        strTable = (SSTRecord) rec;
                        break;
                    case LabelSSTRecord.sid:
                        LabelSSTRecord labelSstRec = (LabelSSTRecord) rec;
                        thisString = strTable.getString(labelSstRec
                                .getSSTIndex()).getString();
                        row = labelSstRec.getRow();
                        col = labelSstRec.getColumn();
                        break;
                    case RKRecord.sid:
                        RKRecord rrk = (RKRecord) rec;
                        thisString = "";
                        row = rrk.getRow();
                        col = rrk.getColumn();
                        break;
                    case LabelRecord.sid:
                        LabelRecord lrec = (LabelRecord) rec;
                        thisString = lrec.getValue();
                        row = lrec.getRow();
                        col = lrec.getColumn();
                        break;
                    case BlankRecord.sid:
                        BlankRecord blrec = (BlankRecord) rec;
                        thisString = "";
                        row = blrec.getRow();
                        col = blrec.getColumn();
                        break;
                    case BoolErrRecord.sid:
                        BoolErrRecord berec = (BoolErrRecord) rec;
                        row = berec.getRow();
                        col = berec.getColumn();
                        byte errVal = berec.getErrorValue();
                        thisString = errVal == 0 ? Boolean.toString(berec
                                .getBooleanValue()) : ErrorConstants
                                .getText(errVal);
                        break;
                    case FormulaRecord.sid:
                        FormulaRecord frec = (FormulaRecord) rec;
                        switch (frec.getCachedResultType())
                        {
                            case Cell.CELL_TYPE_NUMERIC:
                                double num = frec.getValue();
                                if (Double.isNaN(num))
                                {
                                    // Formula result is a string
                                    // This is stored in the next record
                                    outputNextStringRecord = true;
                                }
                                else
                                {
                                    thisString = formatNumericValue(frec, num);
                                }
                                break;
                            case Cell.CELL_TYPE_BOOLEAN:
                                thisString = Boolean.toString(frec
                                        .getCachedBooleanValue());
                                break;
                            case Cell.CELL_TYPE_ERROR:
                                thisString = HSSFErrorConstants
                                        .getText(frec.getCachedErrorValue());
                                break;
                            case Cell.CELL_TYPE_STRING:
                                outputNextStringRecord = true;
                                break;
                        }
                        row = frec.getRow();
                        col = frec.getColumn();
                        break;
                    case StringRecord.sid:
                        if (outputNextStringRecord)
                        {
                            // String for formula
                            StringRecord srec = (StringRecord) rec;
                            thisString = srec.getString();
                            outputNextStringRecord = false;
                        }
                        break;
                    case NumberRecord.sid:
                        NumberRecord numRec = (NumberRecord) rec;
                        row = numRec.getRow();
                        col = numRec.getColumn();
                        thisString = formatNumericValue(numRec, numRec
                                .getValue());
                        break;
                    case NoteRecord.sid:
                        NoteRecord noteRec = (NoteRecord) rec;
                        row = noteRec.getRow();
                        col = noteRec.getColumn();
                        thisString = "";
                        break;
                    case EOFRecord.sid:
                        inSheet = false;
                }
                if (thisString != null)
                {
                    // do something with the cell value 
                }
            }
        });
        req.addListenerForAllRecords(listener);
        HSSFEventFactory factory = new HSSFEventFactory();
        factory.processEvents(req, din);

Answer 1

如果您使用 Apache POI 生成大型 Excel 文件，请注意以下行：

sheet.autoSizeColumn((short) p);

因为这会降低性能。

Answer 2

我还对数千个大型 Excel 文件进行了一些处理，在我看来 POI 非常快。在 Excel 中加载该 Excel 文件也需要大约 1 分钟。所以我确认问题出在 POI 代码上

Answer 3

我会尝试使用 poi-beta3 中引入的流式 hssf。这有助于解决具有 1000 多个列的大型电子表格的内存问题。

Answer 4

如果您使用 Apache POI 生成大型 Excel 文件，请注意sheet.autoSizeColumn((short) p);线，因为这会影响性能。

http://stanicblog.blogspot.sg/2013 /07/generate-large-excel-report-by-using.html

Answer 5

我做了一些更详细的分析，看起来问题实际上出在 POI 之外的代码中。我只是认为这是瓶颈，但我认为这是不正确的。