不确定的分隔符，用 sed 解析凌乱的日志

Question

我正在处理 #huge# 文本文件（从 100mb 到 1gb），我必须解析它们以提取一些特定的数据。令人烦恼的是，这些文件没有明确定义的分隔符。

例如：

"element" 123124 16758 "12.4" "element" "element with white spaces inside" "element"

我必须删除由“（引号）限制的字符串中的空格，问题是我不能删除引号“外部”的空格（否则某些数字会合并）。 我找不到合适的 sed 解决方案，有人可以帮助我吗？

Answer 1

你使用awk，而不是sed。当然不需要创建自己的 C 程序，因为 awk 已经是一个出色的 C 程序来进行文件处理，甚至可以处理 GB 文件。所以这里有一个单衬来完成这项工作。

$ more file
"element" 123124 16758 "12.4" "element" "element with white spaces inside" "element"

$ awk -F'"' '{for(i=2;i<=NF;i+=2) {gsub(/ +/,"",$i)}}1' OFS='"' file
"element" 123124 16758 "12.4" "element" "elementwithwhitespacesinside" "element"

Answer 2

我无法提出 sed 解决方案，但是您最好编写一个小应用程序来执行此操作。

#include <iostream>
#include <string>
using namespace std;

int main() {
    string line;
    while(getline(cin,line)) {
        bool inquot = false;
        for(string::iterator i = line.begin(); i != line.end(); i++) {
            char c = *i;
            if (c == '"') inquot = !inquot;

            if (c != ' ' || !inquot) cout << c;
        }
        cout << endl;
    }
    return 0;
}

然后去

./a.out <测试日志> new.out

免责声明

如果您在行上转义引号或引号内的多行内容，这将完全令人窒息。

例如
“这个词\”word\”很奇怪”
与此相关的事情会引起问题

Answer 3

和 Jamie 一样，我认为 sed 不适合这项工作。可能是我的 sed 技能不足以胜任这项工作。下面是一个与 Jamie 的解决方案基本相同的解决方案，但使用的是 Python：

#!/usr/bin/env python

# Script to delete spaces within the double quotes, but not outside.

QUOTE = '"'
SPACE = ' '

file = open('data', 'r')
for line in file:
    line = line.rstrip('\r\n')
    newline = ''
    inside_quote = False
    for char in list(line):
        if char == QUOTE:
            inside_quote = not inside_quote
        if not (char == SPACE and inside_quote):
            newline += char
    print(newline)
file.close()

将此脚本保存到文件中，例如 rmspaces.py。然后，您可以从命令行调用该脚本：

python rmspaces.py

请注意，该脚本假定数据位于名为 data 的文件中。您可以修改脚本以适应口味。