使用 PDFBox 解析 PDF 文件（尤其是表格）

Question

我需要解析包含表格数据的 PDF 文件。我正在使用 PDFBox 提取文件文本以稍后解析结果（字符串）。问题是文本提取无法按照我对表格数据的预期工作。例如，我有一个包含这样的表的文件（7 列：前两列始终有数据，只有一个复杂性列有数据，只有一个融资列有数据）：

+----------------------------------------------------------------+
| AIH | Value | Complexity                     | Financing       |
|     |       | Medium | High | Not applicable | MAC/Other | FAE |
+----------------------------------------------------------------+
| xyz | 12.43 | 12.34  |      |                | 12.34     |     |
+----------------------------------------------------------------+
| abc | 1.56  |        | 1.56 |                |           | 1.56|
+----------------------------------------------------------------+

然后我使用 PDFBox：

PDDocument document = PDDocument.load(pathToFile);
PDFTextStripper s = new PDFTextStripper();
String content = s.getText(document);

这两行数据将像这样提取：

xyz 12.43 12.4312.43
abc 1.56 1.561.56

最后两个数字之间没有空格，但这不是最大的问题。问题是我不知道最后两个数字是什么意思：中、高、不适用？ MAC/其他、FAE？我没有数字和它们的列之间的关系。

我不需要使用 PDFBox 库，因此使用另一个库的解决方案就可以了。我想要的是能够解析文件并知道每个解析的数字的含义。

Answer 1

您需要设计一种算法来以可用的格式提取数据。无论您使用哪个 PDF 库，都需要执行此操作。字符和图形是通过一系列有状态绘制操作来绘制的，即移动到屏幕上的该位置并绘制字符“c”的字形。

我建议您扩展org.apache.pdfbox.pdfviewer.PDFPageDrawer并覆盖StrokePath方法。从那里，您可以拦截水平和垂直线段的绘制操作，并使用该信息来确定表格的列和行位置。然后，设置文本区域并确定在哪个区域绘制哪些数字/字母/字符就很简单了。由于您知道区域的布局，因此您将能够判断提取的文本属于哪一列。

此外，视觉上分隔的文本之间可能没有空格的原因是，PDF 通常不会绘制空格字符。相反，更新文本矩阵并发出“移动”的绘图命令来绘制下一个字符以及与上一个字符分开的“空格宽度”。

祝你好运。

Answer 2

我使用了很多工具从 pdf 文件中提取表格，但它对我不起作用。

所以我实现了自己的算法（其名称为traprange）来解析pdf文件中的表格数据。

以下是一些示例 pdf 文件和结果：

1. 输入文件： sample-1 .pdf，结果：sample-1.html
2. 输入文件：sample-4.pdf，结果：sample-4.html

访问我的项目页面 陷阱范围。

Answer 3

您可以在 PDFBox 中按区域提取文本。如果您使用的是 Maven，请参阅 pdfbox-examples 工件中的 ExtractByArea.java 示例文件。一个片段看起来像

   PDFTextStripperByArea stripper = new PDFTextStripperByArea();
   stripper.setSortByPosition( true );
   Rectangle rect = new Rectangle( 464, 59, 55, 5);
   stripper.addRegion( "class1", rect );
   stripper.extractRegions( page );
   String string = stripper.getTextForRegion( "class1" );

问题是首先获取坐标。我已经成功地扩展了普通的 TextStripper，覆盖了 processTextPosition(TextPosition text) 并打印出了每个字符的坐标并找出了它们在文档中的位置。

但还有一种更简单的方法，至少如果您使用的是 Mac。在预览中打开 PDF，⌘I 显示检查器，选择“裁剪”选项卡并确保单位为“点”，从“工具”菜单中选择“矩形选择”，然后选择感兴趣的区域。如果您选择一个区域，检查器将向您显示坐标，您可以将其舍入并输入到 Rectangle 构造函数参数中。您只需使用第一种方法确认原点在哪里即可。

Answer 4

我的回答可能为时已晚，但我认为这并不难。您可以扩展 PDFTextStripper 类并重写 writePage() 和 processTextPosition(...) 方法。在您的情况下，我假设列标题始终相同。这意味着您知道每个列标题的 x 坐标，并且可以将数字的 x 坐标与列标题的 x 坐标进行比较。如果它们足够接近（您必须测试以确定有多接近），那么您可以说该数字属于该列。

另一种方法是在写入每个页面后拦截“charactersByArticle”向量：

@Override
public void writePage() throws IOException {
    super.writePage();
    final Vector<List<TextPosition>> pageText = getCharactersByArticle();
    //now you have all the characters on that page
    //to do what you want with them
}

了解您的列，您可以比较 x 坐标来确定每个数字属于哪一列。

数字之间没有任何空格的原因是您必须设置单词分隔符字符串。

我希望这对您或其他可能尝试类似事情的人有用。

Answer 5

PDFLayoutTextStripper 旨在保持数据的格式。

来自自述文件：

import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;

import org.apache.pdfbox.pdfparser.PDFParser;
import org.apache.pdfbox.pdmodel.PDDocument;
import org.apache.pdfbox.util.PDFTextStripper;

public class Test {

    public static void main(String[] args) {
        String string = null;
        try {
            PDFParser pdfParser = new PDFParser(new FileInputStream("sample.pdf"));
            pdfParser.parse();
            PDDocument pdDocument = new PDDocument(pdfParser.getDocument());
            PDFTextStripper pdfTextStripper = new PDFLayoutTextStripper();
            string = pdfTextStripper.getText(pdDocument);
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        };
        System.out.println(string);
    }
}

Answer 6

我在解析 pdftotext 实用程序生成的文本文件方面取得了不错的成功（sudo apt-get install poppler-utils）。

File convertPdf() throws Exception {
    File pdf = new File("mypdf.pdf");
    String outfile = "mytxt.txt";
    String proc = "/usr/bin/pdftotext";
    ProcessBuilder pb = new ProcessBuilder(proc,"-layout",pdf.getAbsolutePath(),outfile); 
    Process p = pb.start();

    p.waitFor();

    return new File(outfile);
}

Answer 7

尝试使用 TabulaPDF (https://github.com/tabulapdf/tabula) 。这是一个非常好的库，可以从 PDF 文件中提取表格内容。非常符合预期。

祝你好运。 :)

Answer 8

我不需要使用 PDFBox 库，因此使用另一个库的解决方案就可以了

Camelot 和 Excalibur

您可能想尝试 Python 库 Camelot，Python 的开源库。如果您不想编写代码，您可以使用创建的 Web 界面 Excalibur卡米洛特周围。您将文档“上传”到本地主机 Web 服务器，然后从此本地主机服务器“下载”结果。

以下是使用此 python 代码的示例：

import camelot
tables = camelot.read_pdf('foo.pdf', flavor="stream")
tables[0].to_csv('foo.csv')

输入是包含此表的 pdf：

^{来自 PDF-TREX set}

没有向camelot提供帮助，它通过查看文本相对对齐来自行工作。结果以 csv 文件形式返回：

^{camelot 从样本中提取的 PDF 表格}

可以添加“规则”来帮助 Camelot 识别复杂表格中圆角的位置:

^{Excalibur 中添加了规则。 来源< /a>}

GitHub：

• Camelot：https://github.com/camelot-dev/camelot
• Excalibur：https://github.com/camelot-dev/excalibur

有两个项目正在进行中。

此处 是与其他软件的对比（根据实际文档进行测试），Tabula，pdfplumber, pdftables, pdf-table-extract。

---

我想要的是能够解析文件并知道每个解析的数字的含义

你不能自动做到这一点，因为 pdf 没有语义结构。

书籍与文档

从语义角度来看，Pdf“文档”是非结构化的（就像记事本文件），pdf 文档给出了在何处打印文本片段的说明，与同一部分的其他片段无关，内容（要打印的内容，以及是否是标题、表格或脚注的片段）和视觉表示（字体、位置等）之间没有分离。 Pdf 是 PostScript 的扩展，它描述了一个 Hello world！页面如下：（

!PS
 /Courier             % font
 20 selectfont        % size
 72 500 moveto        % current location to print at
 (Hello world!) show  % add text fragment
 showpage             % print all on the page

维基百科）。
人们可以想象使用相同指令的桌子是什么样子。

我们可以说 html 并不清晰，但有一个很大的区别：Html 从语义上描述内容（标题、段落、列表、表格标题、表格单元格……）并关联 css 以产生视觉形式，因此内容是完全无障碍。从这个意义上说，html 是 sgml 的简化后代，它设置了允许数据处理的约束：

标记应该描述文档的结构和其他属性
而不是指定需要执行的处理，因为
它不太可能与未来的发展发生冲突。

与 PostScript/Pdf 正好相反。 SGML 用于出版。 Pdf 不嵌入这种语义结构，它仅携带与纯字符串相关的 css 等效项，这些字符串可能不是完整的单词或句子。 Pdf 用于封闭文档，现在用于所谓的 工作流程管理。

在尝试从 pdf 中提取数据的不确定性和困难之后，很明显 pdf 根本不是为未来保留文档内容的解决方案（尽管 Adob​​e 已经从他们的配对中获得了 pdf 标准）。

实际上保存完好的是印刷版，因为 pdf 在创建时完全致力于这方面。 PDF 几乎和印刷书籍一样消亡。

当重用内容很重要时，必须再次依赖手动重新输入数据，例如从印刷书籍中输入数据（可能尝试对其进行一些 OCR）。这一点越来越正确，因为许多 pdf 甚至阻止使用复制粘贴，在单词之间引入多个空格，或者在为网络使用进行一些“优化”时产生无序的字符乱码。

当文档的内容（而不是其印刷形式）有价值时，pdf 就不是正确的格式。即使 Adob​​e 也无法从 pdf 渲染中完美地重新创建文档的源代码。

因此，开放数据永远不应该以 pdf 格式发布，这限制了它们的阅读和打印（如果允许）的使用，并使重用变得更加困难或不可能。

Answer 9

从 PDF 中提取数据必然会遇到很多问题。这些文档是通过某种自动过程创建的吗？如果是这样，您可以考虑将 PDF 转换为未压缩的 PostScript（尝试 pdf2ps），并查看 PostScript 是否包含某种可以利用的常规模式。

Answer 10

我在阅读表格格式的pdf文件时遇到了同样的问题。使用 PDFBox 进行常规解析后，每行都用逗号作为分隔符提取......丢失了列位置。
为了解决这个问题，我使用了 PDFTextStripperByArea 并使用坐标为每行逐列提取数据。 前提是您有固定格式的 pdf。

        File file = new File("fileName.pdf");
        PDDocument document = PDDocument.load(file);
        PDFTextStripperByArea stripper = new PDFTextStripperByArea();
        stripper.setSortByPosition( true );
        Rectangle rect1 = new Rectangle( 50, 140, 60, 20 );
        Rectangle rect2 = new Rectangle( 110, 140, 20, 20 );
        stripper.addRegion( "row1column1", rect1 );
        stripper.addRegion( "row1column2", rect2 );
        List allPages = document.getDocumentCatalog().getAllPages();
        PDPage firstPage = (PDPage)allPages.get( 2 );
        stripper.extractRegions( firstPage );
        System.out.println(stripper.getTextForRegion( "row1column1" ));
        System.out.println(stripper.getTextForRegion( "row1column2" ));

然后是第 2 行，依此类推...

Answer 11

您可以使用 PDFBox 的 PDFTextStripperByArea 类从文档的特定区域提取文本。您可以在此基础上确定表中每个单元格的区域。这不是开箱即用的，但示例 DrawPrintTextLocations 类演示了如何解析文档中单个字符的边界框（最好解析字符串或段落的边界框，但我还没有看到 PDFBox 对此的支持 - 请参阅此

Rectangle2D bounds = s.getBounds2D();
// Pad sides to detect almost touching boxes
Rectangle2D hitbox = bounds.getBounds2D();
final double dx = 1.0; // This value works for me, feel free to tweak (or add setter)
final double dy = 0.000; // Rows of text tend to overlap, so no need to extend
hitbox.add(bounds.getMinX() - dx , bounds.getMinY() - dy);
hitbox.add(bounds.getMaxX() + dx , bounds.getMaxY() + dy);

// Find all overlapping boxes
List<Rectangle2D> intersectList = new ArrayList<Rectangle2D>();
for(Rectangle2D box: boxes) {
    if(box.intersects(hitbox)) {
        intersectList.add(box);
    }
}

// Combine all touching boxes and update
for(Rectangle2D box: intersectList) {
    bounds.add(box);
    boxes.remove(box);
}
boxes.add(bounds);

然后，您可以将这些区域传递给 PDFTextStripperByArea。

您还可以更进一步，分离出这些区域的水平和垂直分量，从而推断所有表格单元格的区域，无论是否包含任何内容。

我有理由执行这些步骤，并最终使用 PDFBox 编写了自己的 PDFTableStripper 类一个>。我已将我的代码作为 gist 在 GitHub 上共享。 main 方法给出了如何使用该类的示例：

try (PDDocument document = PDDocument.load(new File(args[0])))
{
    final double res = 72; // PDF units are at 72 DPI
    PDFTableStripper stripper = new PDFTableStripper();
    stripper.setSortByPosition(true);

    // Choose a region in which to extract a table (here a 6"wide, 9" high rectangle offset 1" from top left of page)
    stripper.setRegion(new Rectangle(
        (int) Math.round(1.0*res), 
        (int) Math.round(1*res), 
        (int) Math.round(6*res), 
        (int) Math.round(9.0*res)));

    // Repeat for each page of PDF
    for (int page = 0; page < document.getNumberOfPages(); ++page)
    {
        System.out.println("Page " + page);
        PDPage pdPage = document.getPage(page);
        stripper.extractTable(pdPage);
        for(int c=0; c<stripper.getColumns(); ++c) {
            System.out.println("Column " + c);
            for(int r=0; r<stripper.getRows(); ++r) {
                System.out.println("Row " + r);
                System.out.println(stripper.getText(r, c));
            }
        }
    }
}

Answer 12

ObjectExtractor oe = new ObjectExtractor(document);

SpreadsheetExtractionAlgorithm sea = new SpreadsheetExtractionAlgorithm(); // Tabula algo.

Page page = oe.extract(1); // extract only the first page

for (int y = 0; y < sea.extract(page).size(); y++) {
  System.out.println("table: " + y);
  Table table = sea.extract(page).get(y);

  for (int i = 0; i < table.getColCount(); i++) {
    for (int x = 0; x < table.getRowCount(); x++) {
      System.out.println("col:" + i + "/lin:x" + x + " >>" + table.getCell(x, i).getText());
    }
  }
}

Answer 13

打印到图像并对其进行 OCR 怎么样？

听起来非常无效，但实际上 PDF 的目的就是让文本变得不可访问，你必须做你必须做的事情。

Answer 14

http://swftools.org/ 这些人有一个 pdf2swf 组件。他们还能够显示表格。
他们还给出了来源。所以你可以检查一下。

Answer 15

如果 PDF 文件使用 pdfbox 2.0.6 具有“仅矩形表格”，则效果很好。不适用于任何其他桌子，仅适用于矩形桌子。

import java.io.File;
import java.io.IOException;
import java.util.ArrayList;

import org.apache.pdfbox.pdmodel.PDDocument;
import org.apache.pdfbox.text.PDFTextStripper;
import org.apache.pdfbox.text.PDFTextStripperByArea;
public class PDFTableExtractor {
    public static void main(String[] args) throws IOException {
        ArrayList<String[]> objTableList = readParaFromPDF("C:\\sample1.pdf", 1,1,6);
        //Enter Filepath, startPage, EndPage, Number of columns in Rectangular table
    }
    public static ArrayList<String[]> readParaFromPDF(String pdfPath, int pageNoStart, int pageNoEnd, int noOfColumnsInTable) {
        ArrayList<String[]> objArrayList = new ArrayList<>();
        try {
            PDDocument document = PDDocument.load(new File(pdfPath));
            document.getClass();
            if (!document.isEncrypted()) {
                PDFTextStripperByArea stripper = new PDFTextStripperByArea();
                stripper.setSortByPosition(true);
                PDFTextStripper tStripper = new PDFTextStripper();
                tStripper.setStartPage(pageNoStart);
                tStripper.setEndPage(pageNoEnd);
                String pdfFileInText = tStripper.getText(document);
                // split by whitespace
                String Documentlines[] = pdfFileInText.split("\\r?\\n");
                for (String line : Documentlines) {
                    String lineArr[] = line.split("\\s+");
                    if (lineArr.length == noOfColumnsInTable) {
                        for (String linedata : lineArr) {
                            System.out.print(linedata + "             ");
                        }
                        System.out.println("");
                        objArrayList.add(lineArr);
                    }
                }
            }
        } catch (Exception e) {
            System.out.println("Exception " +e);
        }
            return objArrayList;
    }
}

Answer 16

对于任何想要与 OP 做同样事情的人（就像我一样），经过几天的研究 Amazon Textract 是最好的选择（如果您的数量较低，免费套餐可能就足够了）。

Answer 17

考虑使用 PDFTableStripper.class

该类在 git 上可用：
https://gist.github.com/beldaz/8ed6e7473bd228fcee8d4a3e4525be11#file- pdftablestripper-java-L1

Answer 18

我不熟悉 PDFBox，但您可以尝试查看 itext。尽管主页上说生成 PDF，但您也可以进行 PDF 操作和提取。看一下它是否适合您的用例。

Answer 19

要从 pdf 文件中读取表格内容，您只需使用任何 API 将 pdf 文件转换为文本文件（我使用 iText 的 PdfTextExtracter.getTextFromPage() ），然后通过 java 程序读取该 txt 文件..现在阅读完之后，主要任务就完成了..您必须过滤您需要的数据。您可以通过连续使用 String 类的 split 方法来完成此操作，直到找到您感兴趣的记录。这是我的代码，通过它我通过 PDF 文件提取部分记录并将其写入 .CSV 文件。 PDF 的 URL文件是..http://www.cea.nic .in/reports/monthly/ Generation_rep/actual/jan13/opm_02.pdf

代码：-

public static void genrateCsvMonth_Region(String pdfpath, String csvpath) {
        try {
            String line = null;
            // Appending Header in CSV file...
            BufferedWriter writer1 = new BufferedWriter(new FileWriter(csvpath,
                    true));
            writer1.close();
            // Checking whether file is empty or not..
            BufferedReader br = new BufferedReader(new FileReader(csvpath));

            if ((line = br.readLine()) == null) {
                BufferedWriter writer = new BufferedWriter(new FileWriter(
                        csvpath, true));
                writer.append("REGION,");
                writer.append("YEAR,");
                writer.append("MONTH,");
                writer.append("THERMAL,");
                writer.append("NUCLEAR,");
                writer.append("HYDRO,");
                writer.append("TOTAL\n");
                writer.close();
            }
            // Reading the pdf file..
            PdfReader reader = new PdfReader(pdfpath);
            BufferedWriter writer = new BufferedWriter(new FileWriter(csvpath,
                    true));

            // Extracting records from page into String..
            String page = PdfTextExtractor.getTextFromPage(reader, 1);
            // Extracting month and Year from String..
            String period1[] = page.split("PEROID");
            String period2[] = period1[0].split(":");
            String month[] = period2[1].split("-");
            String period3[] = month[1].split("ENERGY");
            String year[] = period3[0].split("VIS");

            // Extracting Northen region
            String northen[] = page.split("NORTHEN REGION");
            String nthermal1[] = northen[0].split("THERMAL");
            String nthermal2[] = nthermal1[1].split(" ");

            String nnuclear1[] = northen[0].split("NUCLEAR");
            String nnuclear2[] = nnuclear1[1].split(" ");

            String nhydro1[] = northen[0].split("HYDRO");
            String nhydro2[] = nhydro1[1].split(" ");

            String ntotal1[] = northen[0].split("TOTAL");
            String ntotal2[] = ntotal1[1].split(" ");

            // Appending filtered data into CSV file..
            writer.append("NORTHEN" + ",");
            writer.append(year[0] + ",");
            writer.append(month[0] + ",");
            writer.append(nthermal2[4] + ",");
            writer.append(nnuclear2[4] + ",");
            writer.append(nhydro2[4] + ",");
            writer.append(ntotal2[4] + "\n");

            // Extracting Western region
            String western[] = page.split("WESTERN");

            String wthermal1[] = western[1].split("THERMAL");
            String wthermal2[] = wthermal1[1].split(" ");

            String wnuclear1[] = western[1].split("NUCLEAR");
            String wnuclear2[] = wnuclear1[1].split(" ");

            String whydro1[] = western[1].split("HYDRO");
            String whydro2[] = whydro1[1].split(" ");

            String wtotal1[] = western[1].split("TOTAL");
            String wtotal2[] = wtotal1[1].split(" ");

            // Appending filtered data into CSV file..
            writer.append("WESTERN" + ",");
            writer.append(year[0] + ",");
            writer.append(month[0] + ",");
            writer.append(wthermal2[4] + ",");
            writer.append(wnuclear2[4] + ",");
            writer.append(whydro2[4] + ",");
            writer.append(wtotal2[4] + "\n");

            // Extracting Southern Region
            String southern[] = page.split("SOUTHERN");

            String sthermal1[] = southern[1].split("THERMAL");
            String sthermal2[] = sthermal1[1].split(" ");

            String snuclear1[] = southern[1].split("NUCLEAR");
            String snuclear2[] = snuclear1[1].split(" ");

            String shydro1[] = southern[1].split("HYDRO");
            String shydro2[] = shydro1[1].split(" ");

            String stotal1[] = southern[1].split("TOTAL");
            String stotal2[] = stotal1[1].split(" ");

            // Appending filtered data into CSV file..
            writer.append("SOUTHERN" + ",");
            writer.append(year[0] + ",");
            writer.append(month[0] + ",");
            writer.append(sthermal2[4] + ",");
            writer.append(snuclear2[4] + ",");
            writer.append(shydro2[4] + ",");
            writer.append(stotal2[4] + "\n");

            // Extracting eastern region
            String eastern[] = page.split("EASTERN");

            String ethermal1[] = eastern[1].split("THERMAL");
            String ethermal2[] = ethermal1[1].split(" ");

            String ehydro1[] = eastern[1].split("HYDRO");
            String ehydro2[] = ehydro1[1].split(" ");

            String etotal1[] = eastern[1].split("TOTAL");
            String etotal2[] = etotal1[1].split(" ");
            // Appending filtered data into CSV file..
            writer.append("EASTERN" + ",");
            writer.append(year[0] + ",");
            writer.append(month[0] + ",");
            writer.append(ethermal2[4] + ",");
            writer.append(" " + ",");
            writer.append(ehydro2[4] + ",");
            writer.append(etotal2[4] + "\n");

            // Extracting northernEastern region
            String neestern[] = page.split("NORTH");

            String nethermal1[] = neestern[2].split("THERMAL");
            String nethermal2[] = nethermal1[1].split(" ");

            String nehydro1[] = neestern[2].split("HYDRO");
            String nehydro2[] = nehydro1[1].split(" ");

            String netotal1[] = neestern[2].split("TOTAL");
            String netotal2[] = netotal1[1].split(" ");

            writer.append("NORTH EASTERN" + ",");
            writer.append(year[0] + ",");
            writer.append(month[0] + ",");
            writer.append(nethermal2[4] + ",");
            writer.append(" " + ",");
            writer.append(nehydro2[4] + ",");
            writer.append(netotal2[4] + "\n");
            writer.close();

        } catch (IOException ioe) {
            ioe.printStackTrace();
        }

    }