将数据添加到相互关联的表..更简单的方法？

Question

我对 mysql 有点生疏，并试图再次跳入其中。如果这个问题太简单了，我很抱歉。

我基本上创建了一个数据模型，其中有一个名为“Master”的表，其中包含名称和 IDcode 的必填字段，然后是一个包含 IDcode 外键的“详细信息”表。

现在这就是它变得棘手的地方..我输入：

INSERT INTO Details (Name, UpdateDate) Values (name, updateDate)

我收到一个错误：在详细信息上说IDcode没有默认值..所以我添加一个然后它抱怨字段'Master_IDcode'没有默认值

它一切都有道理，但我想知道是否有任何简单的方法可以完成我想做的事情。我想将数据添加到详细信息中，如果不存在 IDcode，我想在主表中添加一个条目。问题是我必须首先将名称添加到基金主数据中..等待生成唯一的 ID（用于 IDcode），然后在输入主数据时找出该名称并将其添加到我的查询中。正如您可以想象的那样，由于我有很多表，查询可能会变得很长。

有更简单的方法吗？每次我添加一些内容时，它都会按名称搜索是否存在外键，如果不存在，它会将其添加到其链接到的所有表中？人们这样做有标准方法吗？我无法想象对于所有复杂的数据库，人们还没有找到更简单的方法。

抱歉，如果这个问题没有意义。如果需要，我可以添加更多信息。

ps这可能是一个不同的问题，但我听说过 Django for python 并且它有助于创建查询..它对我的情况有帮助吗？

预先非常感谢:-)

Answer 1

（决定扩展上面的评论并将其放入答案中）

我建议在数据库中创建一组临时表（每个数据集/文件一个）。

然后使用 LOAD DATA INFILE （或批量插入行）到这些临时表中。
确保在加载之前删除索引，并在加载数据后重新创建所需的索引。

然后，您可以对临时表进行一次传递以创建丢失的主记录。例如，假设您的临时表之一包含应用作 masterID 的国家/地区代码。您可以通过执行以下操作来添加主记录：

insert 
  into master_table(country_code)
select distinct s.country_code 
  from staging_table     s
  left join master_table m on(s.country_code = m.country_code)
 where m.country_code is null;

然后，您可以继续将行插入到“真实”表中，并知道所有详细信息行都引用有效的主记录。

如果您需要获取参考信息和数据（例如翻译一些代码），您可以通过简单的联接来完成此操作。另外，如果您想通过其他表过滤行，现在也很容易。

insert 
  into real_table_x(
          key
         ,colA
         ,colB
         ,colC
         ,computed_column_not_present_in_staging_table
        ,understandableCode
       )
  select x.key
        ,x.colA
        ,x.colB
        ,x.colC
        ,(x.colA + x.colB) / x.colC
        ,c.understandableCode
     from staging_table_x  x 
     join code_translation c on(x.strange_code = c.strange_code);

这种方法是一种非常有效的方法，并且可以很好地扩展。上述的变体通常用在数据仓库的 ETL 部分来加载大量数据。

MySQL 的一个需要注意的是它不支持哈希联接，这是一种非常适合完全联接两个表的联接机制。 MySQL 使用嵌套循环，这意味着您需要非常仔细地对连接列建立索引。
InnoDB 表在主键上具有集群功能，可以帮助提高效率。

最后一点。当数据库中有暂存数据时，可以轻松添加一些数据分析并将“坏”行放在单独的表中。然后，您可以使用 SQL 检查数据，而不必在编辑器中费力地浏览 csv 文件。

Answer 2

我认为没有一步到位的方法可以做到这一点。

我所做的是

INSERT IGNORE (..) values (..)

向主表发出 a ，如果该行不存在，它将创建该行，或者什么都不做，然后发出 a

SELECT id FROM master where someUniqueAttribute = ..

另一个选项是存储过程/触发器，但它们在 MySQL 中仍然是相当新的我怀疑这是否有助于提高性能。