从命令行合并多个 XML 文件

Question

我有几个 xml 文件。它们都具有相同的结构，但由于文件大小而被分割。所以，假设我有 A.xml、B.xml、C.xml 和 D.xml 并且想要使用命令行工具将它们组合/合并到combined.xml。

A.xml

<products>
    <product id="1234"></product>
    ...
</products>

B.xml

<products>
  <product id="5678"></product>
  ...
</products>

等

Answer 1

高科技答案：

将此 Python 脚本另存为 xmlcombine.py：

#!/usr/bin/env python
import sys
from xml.etree import ElementTree

def run(files):
    first = None
    for filename in files:
        data = ElementTree.parse(filename).getroot()
        if first is None:
            first = data
        else:
            first.extend(data)
    if first is not None:
        print(ElementTree.tostring(first))

if __name__ == "__main__":
    run(sys.argv[1:])

要合并文件，请运行：

python xmlcombine.py ?.xml > combined.xml

要进一步增强，请考虑使用：

• chmod +x xmlcombine.py :
  允许您在命令行中省略 python

• xmlcombine.py !(combined).xml >组合.xml：
  收集除输出之外的所有 XML 文件，但需要 bash 的 extglob 选项

• xmlcombine.py *.xml |海绵组合.xml：
  也收集 combined.xml 中的所有内容，但需要 sponge 程序

• import lxml.etree as ElementTree：
  使用可能更快的 XML 解析器

Answer 2

xml_grep

http://search.cpan.org/dist/XML-Twig/工具/xml_grep/xml_grep

xml_grep --pretty_print 缩进 --wrap products --descr '' --cond
“产品”*.xml>组合.xml

• --wrap ：用给定标签包围/包装 xml 结果。 （此处：products）
• --cond ：grep 的 xml 子树（此处：product）

Answer 3

低技术简单的答案：

echo '<products>' > combined.xml
grep -vh '</\?products>\|<?xml' *.xml >> combined.xml
echo '</products>' >> combined.xml

限制：

• 开始和结束标签需要独占一行。
• 这些文件需要全部具有相同的外部标签。
• 外部标签不得具有属性。
• 文件的内部标签不得与外部标签匹配。
• combined.xml 的所有当前内容都将被清除，而不是被包含在内。

这些限制中的每一个都可以解决，但并非所有限制都能轻松解决。

Answer 4

合并两棵树包括识别哪些是相同的以及哪些应该被替换的任务。不幸的是，这并不明显。所涉及的语义比从源 XML 文档中推断出的语义要多。

考虑这样的情况：第一个文档具有中间层，其中多个元素具有相同的标签，但属性不同。第二个文档将一个属性添加到现有元素的中间级别，同时还添加了另一个子元素。人们必须了解语义。

<params>
...
<param><name>hello</name><value>world</value></param>
...
</params>

添加/合并：

<params>
   <param><name>hello</name><value>yellow submarine</value></param>
</params>

Answer 5

另一个非常有用的工具是 yq，其目标是 jq 用于 YAML、TOML 和 XML。

它可以通过 pip 安装，然后 xml 处理命令称为 xq。

pip install yq
xq .products ?.xml --xml-output --xml-root=products > combined.xml