分析大量数据的有效方法？

Question

我需要分析数万行数据。数据是从文本文件导入的。每行数据有八个变量。目前，我使用类来定义数据结构。当我阅读文本文件时，我将每个行对象存储在通用列表 List 中。

我想知道是否应该改用关系数据库（SQL），因为我需要分析每行文本中的数据，尝试将其与我目前也存储在通用列表（列表）中的定义术语相关联。

目标是使用定义翻译大量数据。我希望定义的数据是可过滤的、可搜索的等。我越想越觉得使用数据库更有意义，但我想在做出更改之前与更有经验的开发人员确认（我正在使用结构体和首先是数组列表）。

我能想到的唯一缺点是数据在用户翻译和查看后不需要保留。不需要永久存储数据，因此使用数据库可能有点矫枉过正。

Answer 1

并不是绝对有必要去数据库。这取决于数据的实际大小和您需要执行的过程。如果您使用自定义类将数据加载到列表中，为什么不使用 Linq 来执行查询和过滤呢？类似这样：

var query = from foo in List<Foo>
            where foo.Prop = criteriaVar
            select foo;

真正的问题是数据是否太大以至于无法轻松加载到内存中。如果是这样的话，那么是的，数据库会简单得多。

Answer 2

这并不是一个很大的数据量。我认为没有任何理由在您的分析中涉及数据库。

C# 中内置了一种查询语言——LINQ。原始海报当前使用对象列表，因此实际上没有什么可做的。在我看来，在这种情况下数据库所增加的热量远多于光。

Answer 3

听起来你想要的是一个数据库。 Sqlite 支持内存数据库（使用“:memory:”作为文件名）。我怀疑其他人也可能有内存模式。

Answer 4

我在以前的公司工作时遇到了与您现在遇到的同样的问题。问题是我正在为大量条形码生成的文件寻找具体且良好的解决方案。条形码生成一个包含数千条记录的文本文件在一个文件中。一开始，操作和呈现数据对我来说非常困难。根据我编程的记录，我创建一个类来读取文件并将数据加载到数据表中，并能够将其保存在数据库。我使用的数据库是SQL server 2005。然后我可以轻松管理保存的数据并以我喜欢的方式呈现它。要点是从文件中读取数据并将其保存到数据库中。如果你这样做因此，您将有很多选择来按照您喜欢的方式进行操作和呈现。

Answer 5

如果您不介意使用 access，您可以执行以下操作：

附加一个空白 Access 数据库作为资源
需要时，将数据库写入文件。
运行处理数据列的 CREATE TABLE 语句
将数据导入到新表中
使用 sql 运行您的计算
OnClose 时，删除该访问数据库。

您可以使用Resourcer之类的程序将数据库加载到resx文件中，

  ResourceManager res = new ResourceManager( "MyProject.blank_db", this.GetType().Assembly );
  byte[] b = (byte[])res.GetObject( "access.blank" );

然后使用以下代码将资源从项目中提取出来。获取字节数组并将其保存到临时位置，临时文件名

“MyProject.blank_db”是资源文件的位置和名称
“access.blank”是为要保存的资源提供的选项卡

Answer 6

如果您唯一需要做的就是搜索和替换，您可以考虑使用 sed 和 awk，并且可以使用 grep 进行搜索。当然是在Unix平台上。

Answer 7

从你的描述来看，我认为linux命令行工具可以很好地处理你的数据。使用数据库可能会使您的工作不必要地复杂化。如果您使用的是 Windows，也可以通过不同的方式使用这些工具。我会推荐 cygwin。以下工具可以满足您的任务：sort、grep、cut、awk、sed、join、paste。

这些 un​​ix/linux 命令行工具对于 Windows 用户来说可能看起来很可怕，但人们却有理由喜欢它们。以下是我喜欢它们的原因：

1. 它们可以让你积累技能 - 你对部分工具的了解可以对未来的不同任务有所帮助。
2. 它们使您的努力得以积累 - 用于完成任务的命令行（或脚本）可以根据需要使用不同的数据重复多次，而无需人工交互。
3. 它们通常优于您可以编写的相同工具。如果您不相信，请尝试使用您的版本对 TB 文件进行击败排序。