使用 Django 和 MySQL 来存储和查找大型 DNA 微阵列结果

Question

我正在尝试设置一个 Django 应用程序，它允许我存储和查找 DNA 微阵列的结果，其中包含约 500k 个独特探针，适用于大量受试者。

我一直在玩弄的模型设置如下：

class Subject(models.Model):
    name = models.CharField()

class Chip(models.Model):
    chip_name = models.Charfield()

class Probe(models.Model):
    chips = models.ManyToManyField(Chip, related_name="probes" )
    rs_name = models.CharField(unique=True)
    chromosome = models.IntegerField()
    location = models.IntegerField()

class Genotype(models.Model):
    probe = models.ForeignKey(Probe, related_name='genotypes')
    subject = models.ForeignKey(Subject, related_name='genotypes')
    genotype = models.CharField()

我想知道是否有更好的方法来设置它？我只是想，对于每个主题，我会在 Genotype 表中创建 500k 行。

如果我使用 MySQL 数据库，它是否能够处理大量主题，每个主题向该表添加 500k 行？

Answer 1

好吧，如果您需要每个主题的每个探针的结果（基因型），那么标准的多对多中间表（基因型）确实会变得巨大。
如果有 1000 个主题，您将拥有 5 亿条记录。

如果您可以将编码/序列化的genotype字段值保存在一个或多列中，那么将大大减少记录数量。保存在单列中编码的 500k 结果将是一个问题，但如果您可以将它们分成组，应该是可行的。这会将记录数量减少到 nr。的主题。或者另一种可能性是将 Probe-s 分组到 ProbeGroup-s 中并具有 nr。探测结果 = nr.主题 * 编号探针组。
第一个选项是这样的：

class SubjectProbeResults(models.Model):
    subject = models.ForeignKey(Subject, related_name='probe_results')
    pg_a_genotypes = models.TextField()
    ..
    pg_n_genotypes = models.TextField()

这当然会使搜索/过滤结果变得更加困难，但如果保存的格式很简单，那么应该不会太难。
您可以在基因型列中采用以下格式：“probe1_id|genotype1,probe2_id|genotype2,probe3_id|genotype3,...”

检索特定基因型+探针的受试者查询集。

一个。确定探针属于哪个组
即“C组”-> pg_c_基因型

b．查询相应列的probe_id + 基因型组合。

from django.db.models import Q

qstring = "%s|%s" % (probe_id, genotype)

subjects = Subject.objects.filter(Q(probe_results__pg_c_genotypes__contains=',%s,' % qstring) | \
                               Q(probe_results__pg_c_genotypes__startswith='%s,' % qstring) | \
                               Q(probe_results__pg_c_genotypes__endswith=',%s' % qstring))

我提到的另一个选项是也有 ProbeGroup 模型，每个 Probe 将有一个 ProbeGroup 的外键。然后：

class SubjectProbeResults(models.Model):
    subject = models.ForeignKey(Subject, related_name='probe_results')
    probe_group = models.ForeignKey(ProbeGroup, related_name='probe_results')
    genotypes = models.TextField()

您可以同样查询基因型字段，只不过现在您可以直接查询组，而不是确定需要搜索的列。
这样如果你有前任。每组 1000 个探针 -> 500组。那么对于 1000 个主题，您将拥有 500K SubjectProbeResults，仍然很多，但肯定比 500M 更易于管理。但是你可以有更少的组，你必须测试什么最有效。