使用 unix sort、uniq 和 awk 替换 SQL 查询

Question

目前，我们在 HDFS 集群上有一些数据，我们在这些数据上使用 Hive 生成​​报告。基础设施正在退役，我们剩下的任务是提出生成数据报告的替代方案（我们将其作为制表符分隔的文件导入到新环境中）

假设我们有一个包含以下内容的表字段。

• 查询
• IPAddress
• LocationCode

我们原来在 Hive 上运行的 SQL 查询是（不完全是......但类似）

select 
COUNT(DISTINCT Query, IPAddress) as c1,
LocationCode as c2, 
Query as c3
from table
group by Query, LocationCode

我想知道是否有人可以为我提供一个使用标准 unix/linux 工具（例如 sort、uniq 和awk 可以替代上述查询。

假设脚本的输入是文本文件的目录。该目录将包含大约 2000 个文件。每个文件将包含任意数量的制表符分隔的记录，其形式为：

Query <TAB> LocationCode <TAB> IPAddress <NEWLINE>

Answer 1

一旦你有了一个包含所有唯一的排序文件

Query <TAB> LocationCode <TAB> IPAddress <NEWLINE>

，你就可以：

awk -F '\t' 'NR == 1 {q=$1; l=$2; count=0}
q == $1 && l == $2{count++}
q != $1 || l != $2{printf "%s\t%s\t%d\n", q, l, count; q=$1; l=$2; count=1}
END{printf "%s\t%s\t%d\n", q, l, count}' sorted_uniq_file

要获取这个 sorted_uniq_file，简单的方法可以是：

sort -u dir/* > sorted_uniq_file

但这可能会很长并且消耗内存。

更快的选择（并且消耗更少的内存）可能是尽快消除重复项，先排序，然后合并。这需要一个临时空间来存储已排序的文件，让我们使用名为 sorted 的目录：

mkdir sorted;
for f in dir/*; do
   sort -u $f > sorted/$f
done
sort -mu sorted/* > sorted_uniq_file
rm -rf sorted

如果上面的解决方案遇到某些 shell 或排序限制（dir/* 的扩展，或sorted/*，或sort的参数数量）：

mkdir sorted;
ls dir | while read f; do
   sort -u dir/$f > sorted/$f
done
while [ `ls sorted | wc -l` -gt 1 ]; do
  mkdir sorted_tmp
  ls sorted | while read f1; do
    if read f2; then
      sort -mu sorted/$f1 sorted/$f2 > sorted_tmp/$f1
    else
      mv sorted/$f1 sorted_tmp
    fi
  done
  rm -rf sorted
  mv sorted_tmp sorted
done
mv sorted/* sorted_uniq_file
rm -rf sorted

上面的解决方案可以优化以同时合并两个以上的文件。

Answer 2

不是对您最初问题（您已经得到的）的直接答案，但如果您有一堆平面文件数据想要以不同的方式查询，您可以考虑使用 NoSQL：

http://www.strozzi.it/cgi-bin/CSA/tw7/I/en_US/nosql/Home%20Page

这个 NoSQL 项目与（并且早于许多年）最近被称为“NoSQL 数据库”。相反，这种 NoSQL 将 Unix 工具结合在一起，以 Awk 作为核心，以简化它们在访问和维护格式化文本文件数据库时的使用。可以轻松执行许多巧妙的操作，例如表连接。