从 Excel 插入/更新 Doctrine 对象

Question

在我目前正在工作的项目中，我必须读取一个 Excel 文件（超过 1000 行），提取所有文件并插入/更新到数据库表。

1. 就性能而言，最好将所有记录添加到 Doctrine_Collection 中，并在使用 fromArray() 方法后插入/更新它们，对吧？另一种可能的方法是为每一行创建一个新对象（Excel 行将是一个对象）并保存它，但我认为它在性能方面最差。

2. 每次上传 Excel 时，都需要将其行与数据库中的现有对象进行比较。如果该行不作为对象存在，则应插入，否则更新。我的第一个方法是将对象和行都转换为数组（或 Doctrine_Collections）；然后在执行所需操作之前比较两个数组。

谁能建议我任何其他可能的方法？

Answer 1

我们最近在一个项目中使用 CSV 数据做了一些这样的事情。这相当无痛。有一个 symfony 插件 tmCsvPlugin，但我们对其进行了相当多的扩展，因此插件存储库中的版本已经过时了。必须将其添加到 @TODO 列表中:)

问题 1：

我没有明确了解性能，但我猜测将记录添加到 Doctrine_Collection 然后调用 Doctrine_Collection::save() 会是最巧妙的方法。我确信如果某个地方抛出异常并且您必须回滚上次保存，这会很方便。

问题 2：

如果您可以使用行字段作为唯一标识符，（让我们假设一个用户名），那么您可以搜索现有记录。如果找到一条记录，并假设导入的行是一个数组，请使用 Doctrine_Record::synchronizeWithArray() 更新该记录；然后将其添加到 Doctrine_Collection 中。完成后，只需调用 Doctrine_Collection::save()

一个相当粗糙的“n”就绪实现：

// set up a new collection
$collection = new Doctrine_Collection('User');

// assuming $row is an associative 
// array representing one imported row.

foreach ($importedRows as $row) {

    // try to find an existing record 
    // based on a unique identifier.
    $user = Doctrine_Core::getTable('User')
        ->findOneByUsername($row['username']);

    // create a new user record if 
    // no existing record is found.
    if (!$user instanceof User) {
        $user = new User();
    }

    // sync record with current data.
    $user->synchronizeWithArray($row);

    // add to collection.
    $collection->add($user);

}

// done. save collection.
$collection->save();

相当粗糙，但这样的东西对我来说效果很好。这是假设您可以以某种方式使用导入的行数据作为唯一标识符。

注意：如果您使用的是 sf1.2/doctrine 1.0，请警惕 SynchronizeWithArray() - 如果我没记错的话，它没有正确实现。不过它在原则 1.2 中工作得很好。

Answer 2

我从未从事过Doctrine_Collections的工作，但我可以从更广泛意义上的数据库查询和代码逻辑方面进行回答。我将应用以下逻辑：-

1. 在单个查询中从数据库中获取 Excel 工作表的所有行并将它们存储在数组 $uploadedSheet 中。

2. 创建上传的 Excel 工作表的所有行的单个数组，将其命名为 $storedSheet。我猜想 Doctrine_Collections $uploadedSheet 和 $storedSheet 的结构会类似（都是二维的 - 行、单元格都可以识别和比较）。

3.在 $uploadedSheet 上运行 foreach 循环，如下所示，仅识别需要插入的行和要更新的行（稍后进行实际查询）-

$rowsToBeUpdated =array();
$rowsToBeInserted=array();
foreach($uploadedSheet as $row=>$eachRow)  
{  
    if(is_array($storedSheet[$row]))
    {
         foreach($eachRow as $column=>$value)
         {
              if($value != $storedSheet[$row][$column]) 
              {//This is a representation of comparison
                  $rowsToBeUpdated[$row]=true;
                  break; //No need to check this row anymore - one difference detected.
              }
         }
    }
    else
    {
         $rowsToBeInserted[$row] = true;
    }
} 

4. 这样您就有了两个数组。现在执行 2 个数据库查询 -

• 批量插入 $uploadedSheet 的所有行，其编号存储在 $rowsToBeInserted 数组中。

• 批量更新 $uploadedSheet 的所有行，其编号存储在 $rowsToBeUpdated 数组中。

这些批量查询是提高性能的关键。

让我知道这是否有帮助，或者您想了解其他信息。