如何使用此 Coldfusion 代码读取大型 XML 文件并将数据插入数据库？

Question

我正在使用 ColdFusion (openBlueDragon) 将数据从大型 (200MB) xml 文件插入到数据库中，而无需将整个文件加载到内存中，而这正是我传统的做法。我确实在这里找到了一个非常相似的问题：循环遍历一个大的 XML 文件似乎是我正在寻找的答案。

然而，我对java的熟练程度不够，无法理解代码并根据我的需要调整代码。我找不到办法回复发布代码的专家（@orangepips），否则我不会发布如此类似的问题。

我的 xml 文件如下所示：

 <allItems>
    <item>
        <subject>The subject text</subject>
        <date>2007-05-21 04:03:00</date>
        <content>text content often contains many paragraphs of text</content>
        <author>JPass78</author> 
    </item>
</allItems>

这是代码，由 Orangepips 提供，我正在尝试根据我的目的进行调整。我对其进行了一些修改以包含我自己的字段名称：

<cfset fis = createObject("java", "java.io.FileInputStream").init(
"#getDirectoryFromPath(getCurrentTemplatePath())#/file.xml")>
<cfset bis = createObject("java", "java.io.BufferedInputStream").init(fis)>
<cfset XMLInputFactory = createObject("java", "javax.xml.stream.XMLInputFactory").newInstance()>
<cfset reader = XMLInputFactory.createXMLStreamReader(bis)>

<cfloop condition="#reader.hasNext()#">
<cfset event = reader.next()>
<cfif event EQ reader.START_ELEMENT>
    <cfswitch expression="#reader.getLocalName()#">
        <cfcase value="allItems">
            <!--- root node, do nothing --->
        </cfcase>
        <cfcase value="item">
            <!--- set values used later on for inserts, selects, updates --->
        </cfcase>
        <cfcase value="subject">
            <!--- some selects and insert --->
        </cfcase>
        <cfcase value="contentdate">
            <!--- insert or update --->
        </cfcase>
        <cfcase value="content">
        </cfcase>
        <cfcase value="author">
         </cfcase>  
    </cfswitch>
</cfif>
</cfloop>
<cfset reader.close()>

我有一个表，我试图弄清楚如何访问每个 XML 元素中的值，以便我可以一次插入一行？像这样：插入内容（主题，内容日期，内容，作者） VALUES("主题文字",2007-5-21 04:03:00,"此处文字内容","JPass78");

Answer 1

不要使用 COLDFUSION 将大型 XML 文件导入 MYSQL 数据库，而是使用 MYSQL 命令“LOAD XML INFILE”。

下面是对我有用的简单、轻便且快速的代码：

LOAD XML INFILE 'pathtofile/file.xml' INTO TABLE table_name ROWS IDENTIFIED BY '';

我的 xml 文件使用完全相同的代码字段名称作为我的数据库表。 ROWS IDENTIFIED BY 告诉命令，我的 xml 文件中的字段名称将对应于我表中的数据库字段，并且它们将位于之间。标签。

仅供参考，<项目>是我自己的命名格式。您的文件可能会有另一个与您正在使用的数据相关的标签名称。例如，如果您的 xml 文件用于员工数据，您可以使用来代替。

在 MYSQL5.5 中可用 - LOAD XML INFILE 的参考可以在以下位置找到：
http://dev.mysql.com/doc/refman/5.5 /en/load-xml.html

Answer 2

一种可能性是每次遇到 元素时初始化数据结构。当子元素经过（、、...）时，提取其文本并将其添加到您的结构中。然后，当您到达 元素时进行验证/插入。可能有更好的方法。但这应该会给你一些可以使用的东西。

更新：我有一种预感，数据库批量加载工具将是一个更好的选择。事实证明是；）有关详细信息，请参阅 JPass 的答案。

<cfset fis = createObject("java", "java.io.FileInputStream").init(pathToYourFile)>
<cfset bis = createObject("java", "java.io.BufferedInputStream").init(fis)>
<cfset XMLInputFactory = createObject("java", "javax.xml.stream.XMLInputFactory").newInstance()>
<cfset reader = XMLInputFactory.createXMLStreamReader(bis)>

<cfloop condition="#reader.hasNext()#">
    <cfset event = reader.next()>
    <cfif event EQ reader.START_ELEMENT>
        <cfswitch expression="#reader.getLocalName()#">
            <cfcase value="item">
                <!--- start a new data row --->
                <cfset row = {}>
            </cfcase>
            <cfcase value="subject">
                <!--- extract the subject text --->
                <cfset row.subject = reader.getElementText()>
            </cfcase>
            <cfcase value="date">
                <!--- extract the date text --->
                <cfset row.date = reader.getElementText()>
            </cfcase>
            <cfcase value="content">
                <!--- extract the content text --->
                <cfset row.content = reader.getElementText()>
            </cfcase>
            <cfcase value="author">
                <!--- extract the author text --->
                <cfset row.author = reader.getElementText()>
            </cfcase>  
        </cfswitch>
    <cfelseif event EQ reader.END_ELEMENT>
        <!--- we have reached the end of the row. time to insert the data --->
        <cfif reader.getLocalName() eq "item">
            <cfdump var="#row#" label="Debug Row Data">    
            <!--- ... validate / insert "row" data into database --->
        </cfif>
    </cfif>
</cfloop>

<cfset fis.close()>
<cfset reader.close()>