使用MySQL超过500K记录来处理Django迁移数据的最佳方法是什么

Question

• 一个迁移处理创建两个新字段action_duplate和status_duplate
• 第二个迁移复制了action> action和status status 字段的数据，在两个新创建的字段中，

def remove_foreign_keys_from_user_request(apps, schema_editor):
    UserRequests = apps.get_model("users", "UserRequest")

    for request_initiated in UserRequest.objects.all().select_related("action", "status"):
        request_initiated.action_duplicate = request_initiated.action.name
        request_initiated.status_duplicate = request_initiated.status.name
        request_initiated.save()

• 第三个迁移假定要删除/删除旧字段action和状态
• 第四迁移应将新的重复字段重命名为旧删除字段 这里的解决方案是删除对状态和操作的依赖性，以避免不必要的数据库查询，因为该状态特别是未决 and 完成

我的问题是第二迁移。记录的数量在300k至600k的记录之间，因此我需要知道一种更有效的方法来执行此操作，以免占用所有可用的内存。 注意：数据库是mysql。

userRequest模型的修剪版本

class UserRequest(models.Model):
    id = models.UUIDField(primary_key=True, default=uuid.uuid4, editable=False)
    reference = models.CharField(max_length=50, null=True, blank=True)
    requester = models.ForeignKey(User, blank=True, null=True, on_delete=models.CASCADE)
    action = models.ForeignKey(Action, on_delete=models.CASCADE)
    action_duplicate = models.CharField(
        max_length=50, choices=((ACTION_A, ACTION_A), (ACTION_B, ACTION_B)), default=ACTION_A
    )
    status = models.ForeignKey(ProcessingStatus, on_delete=models.CASCADE)
    status_duplicate = models.CharField(
        max_length=50,
        choices=((PENDING, PENDING), (PROCESSED, PROCESSED)),
        default=PENDING,
    )

Answer 1

您可以使用a /code> expression＆nbsp; ^[django-doc] ，然后进行批量更新：

def remove_foreign_keys_from_user_request(apps, schema_editor):
    UserRequests = apps.get_model('users', 'UserRequests')
    Action = apps.get_user('users', 'Action')
    Status = apps.get_user('users', 'ProcessingStatus')
    UserRequests.objects.update(
        action_duplicate=Subquery(
            Action.objects.filter(
                pk=OuterRef('action_id')
            ).values('name')[:1]
        ),
        status_duplicate=Subquery(
            Status.objects.filter(
                pk=OuterRef('status_id')
            ).values('name')[:1]
        )
    )

话虽如此，看来您正在做的是实际上是 ：通常，如果有重复的数据，则您可以制作一个额外的模型，在其中制作一个action/status每个值，从而防止使其具有相同的action_duplate的值/status_duplate在数据库中多次：这将使数据库更大，并且很难维护。

---

注意：通常给出django模型a singular 名称，因此userRequest 而不是 userRequests。