如何仅将多个输入文本文件中的唯一元素添加到 awk 中的数组中

Question

正如主题所示，如何从多个文本文件中读取信息，并且仅在数组中添加元素 1 次，而不管它们是否在不同的文本文件中出现多次？

我从这个脚本开始，它按照元素在不同文档中出现的顺序读入并打印出所有元素。

例如，查看这 3 个不同的文本文件，其中包含以下数据

文件 1：

2011-01-22 22:12 test1 22 1312 75 13.55 1399 
2011-01-23 22:13 test4 22 1112 72 12.55 1499

文件 2：

2011-01-24 22:14 test1 21 1322 75 23.55 1599 
2011-01-25 22:15 test2 23 2312 77 33.55 1699 

文件 3：

2011-01-26 22:16 test2 20 1412 79 63.55 1799 
2011-01-27 22:17 test5 12 1352 78 43.55 1999 

我想检查当前元素是否已添加到数组中，但目前我的脚本打印出所有元素。

{
    BUILDd[NR-1] = $3; len++
}
   END { 
        SUBSYSTEM=substr(FILENAME, 1, length(FILENAME)-7)
        LABEL= "\"" toupper(SUBSYSTEM) "\""
        print  "#{"
        print "\"buildnames\": {"
        print "        \"label\": \"buildnames\","
        print "        \"data\": ["
        for (i = 0 ; i <= len-1; i ++ ) {
        if(i == len-1){print "            [\"" BUILDd[i] "\"]"}
        else
            { print "            [\"" BUILDd[i] "\"],"}
        }
        print "        ]"
        print " }"
        print "};"
}

给出这个输出

#{
"buildnames": {
        "label": "buildnames",
        "data": [
            ["test1"]
            ["test4"]
            ["test1"]
            ["test2"]
            ["test2"]
            ["test5"]
        ]
        }
};

当我希望它给出以下内容时

#{
"buildnames": {
        "label": "buildnames",
        "data": [
            ["test1"]
            ["test2"]
            ["test4"]
            ["test5"]
        ]
        }
};

1）换句话说，首先检查元素是否已经在数组中，如果没有，则添加它/它们

2）如果可能的话，之后对数组进行排序

谢谢=）

Answer 1

除了格式之外，这是否是您想要实现的目标（a、b、c 是包含您的日志的文件）？

$ cut -d" " -f3 a b c | sort | uniq
test1
test2
test4
test5

使用 awk

{
    BUILDd[$3] = 1
}
END {
    for (i in BUILDd) {
    print i
    }
}

给出 请

awk -f a.awk a b c
test1
test2
test4
test5

注意，这里正确的排序顺序纯粹是偶然的...放入数组的顺序不是它打印的顺序。