编写更高效的 xquery 代码（避免冗余迭代）

Question

这是我正在解决的问题的简化版本：我有一堆 xml 数据，用于对有关人员的信息进行编码。每个人都由“id”属性唯一标识，但他们可能有多个名字。例如，在一个文档中，我可能会发现

<person id=1>Paul Mcartney</person>
<person id=2>Ringo Starr</person>

： 在另一个文档中，我可能会发现：

<person id=1>Sir Paul McCartney</person>
<person id=2>Richard Starkey</person>

我想使用 xquery 生成一个新文档，其中列出与给定 id 关联的每个名称。即：

<person id=1>
    <name>Paul McCartney</name>
    <name>Sir Paul McCartney</name>
    <name>James Paul McCartney</name>
</person>
<person id=2>
    ...
</person>

我现在在 xquery 中执行此操作的方式是这样的（伪代码式）：

let $ids := distinct-terms( [all the id attributes on people] )
for $id in $ids
    return <person id={$id}>
    {
    for $unique-name in distinct-values
            (
            for $name in ( [all names] )
            where $name/@id=$id
            return $name
            )
        return <name>{$unique-name}</name>
    }
    </person>

问题是这真的很慢。我想瓶颈是最里面的循环，它为每个 id （大约有 1200 个）执行一次。我正在处理相当多的数据（300 MB，分布在大约 800 个 xml 文件中），因此即使在内部循环中执行一次查询也需要大约 12 秒，这意味着重复 1200 次将需要大约 4 秒小时（这可能是乐观的 - 该过程到目前为止已经运行了 3 个小时）。它不仅速度慢，而且使用大量虚拟内存。我正在使用 Saxon，并且必须将 java 的最大堆大小设置为 10 GB（！）以避免出现内存不足错误，并且它当前使用 6 GB 物理内存。

所以这就是我真正想要做的事情（用 Pythonic 伪代码）：

persons = {}
for id in ids:
    person[id] = set()
for person in all_the_people_in_my_xml_document:
    persons[person.id].add(person.name)

在那里，我只是在线性时间内完成了这件事，只需要扫描一次 xml 文档。现在，有没有办法在 xquery 中做类似的事情？当然，如果我能想象的话，一种合理的编程语言应该能够做到这一点（他堂吉诃德式地说）。我想，问题在于，与 Python 不同，xquery 没有（据我所知）类似关联数组的东西。

有什么聪明的方法可以解决这个问题吗？如果做不到这一点，是否有比 xquery 更好的东西可以用来实现我的目标？因为实际上，我在这个相对简单的问题上投入的计算资源有点荒谬。

Answer 1

不幸的是，这是 XQuery 1.0 中的一个缺点，

XQuery 1.1 在语法中添加了 group by 子句来解决此问题，您的问题将通过以下方式解决：

for $person in /person
let $id = $person/@id
group by $id
return  <people id="{$id}">{
          for $name in distinct-values($person)
          return <name>{$name}</name>
        }</people>

不幸的是，XQuery 1.1 尚未广泛实现，因此目前您无法使用 group by条款。

作为 XQSharp 的开发人员，我不能谈论任何其他实现，但我们花了很多时间调整优化器，以发现 XQuery 1.1 中常见的分组模式，并使用您指定的算法执行它们。

特别是，您的查询的以下版本：

declare variable $people as element(person, xs:untyped)* external;

for $id in distinct-values($people/@id)
return <people id="{$id}">{
          for $person in $people
          where $person/@id = $id
          return <name>{$person}</name>
       }</people>

被发现为分组依据，如以下查询计划所示：

library http://www.w3.org/2005/xpath-functions external;
library http://www.w3.org/2001/XMLSchema external;
declare variable $people external;

for $distinct-person in $people
let $id := http://www.w3.org/2005/xpath-functions:data($distinct-person/attribute::id)
group by
  $id
aggregate
  element {name} { fs:item-sequence-to-node-sequence($distinct-person) }
as
  $:temp:19
return
  element {person} { (attribute {id} { $id } , fs:item-sequence-to-node-sequence($:temp:19)) }

请注意，类型注释 as element(person, xs:untyped)* 是必需的，因为不知道节点是非类型化的（未针对模式进行验证），查询处理器无法知道 $person/@id 的数据值中没有多个项目。 XQSharp 尚不支持 group by 表达式，其中每个节点可以有多个键。然而，在这种情况下，仍然会发现左外连接，因此复杂性应该大致为 n log n，而不是您所经历的二次。

不幸的是，尽管在组中的一组人员周围添加不​​同值（以过滤掉重复的名称）似乎会阻止 XQSharp 找到连接；这已被列为错误。目前，这可以通过分两遍进行查询来解决 - 按 id 对名称进行分组，并删除重复的名称。

总之，XQuery 1.0 中没有更好的方法，但某些实现（例如 XQSharp）将能够有效地评估这一点。如果有疑问，请检查查询计划。

要更详细地了解 XQSharp 执行的连接优化，请查看此 博客文章。

Answer 2

另一种选择：使用地图。

let $map := map:map()
let $people :=
  for $person in $all-people
  return map:put($map, $person/@id, 
    (map:get($map, $person/@id), <name>{$person/text()}</name>))
return
  for $id in map:keys($map)
  return 
    <person id="{$id}">{map:get($map, $id)}</person>

Answer 3

如果做不到这一点，有什么办法吗？
比我可能使用的 xquery 更好
实现我的目标吗？因为真的，
我的计算资源
抛出这个相对简单的
问题有点荒谬。

这是一个简单的 XSLT 2.0 解决方案（为了方便起见，三个文档中的两个由 表示）：

<xsl:stylesheet version="2.0"
 xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
 <xsl:output omit-xml-declaration="yes" indent="yes"/>

 <xsl:variable name="vDoc2">
  <persons>
   <person id="1">Sir Paul McCartney</person>
   <person id="2">Richard Starkey</person>
  </persons>
 </xsl:variable>

 <xsl:variable name="vDoc3">
  <persons>
   <person id="1">James Paul McCartney</person>
   <person id="2">Richard Starkey - Ringo Starr</person>
  </persons>
 </xsl:variable>

 <xsl:template match="/">
  <xsl:for-each-group group-by="@id" select=
   "(/ | $vDoc2 | $vDoc3)/*/person">

   <person id="{current-grouping-key()}">
     <xsl:for-each select="current-group()">
       <name><xsl:sequence select="text()"/></name>
     </xsl:for-each>
   </person>

  </xsl:for-each-group>
 </xsl:template>
</xsl:stylesheet>

当此转换应用于以下 XML 文档：

<persons>
    <person id="1">Paul Mcartney</person>
    <person id="2">Ringo Starr</person>
</persons>

生成所需的正确结果：

<person id="1">
   <name>Paul Mcartney</name>
   <name>Sir Paul McCartney</name>
   <name>James Paul McCartney</name>
</person>
<person id="2">
   <name>Ringo Starr</name>
   <name>Richard Starkey</name>
   <name>Richard Starkey - Ringo Starr</name>
</person>

Answer 4

如果您使用支持更新的 XML 数据库（例如 eXist db），那么您可以像将 Python 代码一样直接分组到 XML 文档中，其中可能无论如何都需要结果以供以后处理。

let $persons := doc("/db/temp/p3.xml")/persons
let $person-groups := doc("/db/temp/p2.xml")/person-groups
for $person in $persons/person
let $name := element name {$person/text()}
let $person-group := $person-groups/person-group[@id=$person/@id]
return
   if ($person-group) 
   then update insert $name into $person-group
   else update insert element person-group {attribute id {$person/@id}, $name} 
       into $person-groups

对于我对超过 100 个不同 ID 的 10,000 个人员节点进行的实验，我们服务器上的 eXist 的吞吐量约为每秒 100 个节点。

请注意，eXist 中 XQuery 的更新扩展与 XQuery Update 语法并不完全相同。