解析非常繁忙的空格分隔文件

Question

我正在努力帮助我的父亲——他给了我一份他工作中的日程安排应用程序的导出信息。我们正在尝试是否可以将其导入 mysql 数据库，以便他/同事可以与其在线协作。

我尝试了许多不同的方法，但似乎没有一个能正常工作——而且这不是我的专业领域。

导出可以在此处查看：http://roikingon.com/export.txt

有关如何导出的任何帮助/建议去解析这个将不胜感激！

谢谢 ！！

Answer 1

我尝试编写一个（有点动态的）固定列解析器。看一下：http://codepad.org/oAiKD0e7（对于SO来说太长了，但大部分只是“数据”）。

我注意到

• 文本数据与右侧的填充左对齐，例如 "hello___" (_ = space)
• 数字数据与左侧的填充右对齐 < code>"___42"

如果你想使用我的代码，还有一些事情要做：

• 记录类型 12.x 具有可变列数（在一些静态列之后），你必须实现另一个“处理程序”它
• 是我的一些宽度很可能是错误的。我认为有一个系统（比如数字是 4 个字符长，文本是 8 个字符长，特殊情况有一些变化）。具有领域知识和多个示例文件的人可以找出这些列。
• 获取原始数据只是第一步，您必须将原始数据映射到一些有用的模型并将该模型写入数据库。

Answer 2

使用该文件结构，您基本上需要对专有格式进行逆向工程。是的，它是空格分隔的，但格式不遵循任何类型的标准，如 CSV、YAML 等。它完全是专有的，似乎是一个标头和带有自己标头的单独部分。

我认为你最好的选择是尝试看看是否有其他类型的导出可以完成，例如 Excel 或 XML，并从那里开始工作。如果没有，则查看是否有某种可以在屏幕上抓取的 html 输出，然后粘贴到 Excel 中，看看会得到什么。

由于我上面提到的一切，将当前形式的文件调整为可以明智地导入数据库的内容将非常困难。 （请注意，从文件结构来看，将需要许多表。）

Answer 3

您可以将 split 与正则表达式一起使用（零个或多个空格）。

我会尽力让你知道。

您的数据似乎没有结构。

$data = "12.1  0    1144713      751  17  Y   8  517  526  537  542  550  556  561  567                                     17 ";

$arr = preg_split("/ +/", $data);
print_r($arr);

Array
(
    [0] => 12.1
    [1] => 0
    [2] => 1144713
    [3] => 751
    [4] => 17
    [5] => Y
    [6] => 8
    [7] => 517
    [8] => 526
    [9] => 537
    [10] => 542
    [11] => 550
    [12] => 556
    [13] => 561
    [14] => 567
    [15] => 17
    [16] =>
)

试试这个 preg_split("/ +/", $data); ，它将行分割成零个或多个空格，然后你将得到一个可以处理的漂亮数组。但是查看您的数据，没有结构，因此您必须知道哪个数组元素对应于什么数据。

祝你好运。

Answer 4

用excel打开它并保存为逗号分隔。将连续分隔符视为一个或不视为一个。然后用excel重新保存为csv，这样会以逗号分隔，更容易导入到mysql中。

编辑：
那个说在“[ +]”上使用 preg_split 的人给你的答案基本上与我上面所做的相同。

问题是之后该怎么办。

您确定有多少种“行类型”吗？一旦确定了这一点并定义了它们的特征，编写一些代码来完成它就会容易得多。

如果保存为csv，则可以使用PHP fgetcsv函数及相关函数。对于每一行，您将检查其类型并根据类型执行操作。

我注意到您的数据行可能会根据第一列的数据是否包含“。”进行划分。这是一个如何循环遍历文件的示例。

while($row = fgetcsv($file_handle)) {
if(strpos($row[0],'.') === false) {
// 做某事
} 别的 {
// 做点别的事
}
“

做某事”类似于“CREATE TABLE table_$row[0]”或“INSERT INTO table”等。

好的，这里有更多观察结果

：文件实际上就像多个文件粘在一起。它包含多种格式。请注意，接下来以“4”开头的所有行都有一个 4 个字母的公司缩写，后跟完整的公司名称。其中之一是“可可”。如果您搜索“caco”，您会在文件内的多个“表”中找到它。

我还注意到周围散布着“smuwtfa”（一周中的几天）。

使用这样的线索来确定如何处理每一行的逻辑。