对平面文件进行简单、快速的 SQL 查询

Question

有谁知道有什么工具可以使用类似 SQL 的声明性查询语言提供简单、快速的平面文件查询吗？我不想支付将文件加载到数据库中的开销，因为输入数据通常在查询运行后几乎立即被丢弃。

考虑数据文件“animals.txt”：

dog 15
cat 20
dog 10
cat 30
dog 5
cat 40

假设我想提取每个独特动物的最高值。我想写一些类似的东西：

cat animals.txt | foo "select $1, max(convert($2 using decimal)) group by $1"

我可以使用 sort 得到几乎相同的结果：

cat animals.txt | sort -t " " -k1,1 -k2,2nr

而且我总是可以从那里进入 awk，但这一切感觉有点awkward（无法抗拒）当类似 SQL 的语言似乎能够如此干净地解决问题时。

我考虑过为 SQLite 编写一个包装器，它会根据输入数据自动创建一个表，并且我已经研究过在单处理器模式下使用 Hive，但我不禁觉得这个问题以前已经解决了。我错过了什么吗？此功能是否已由其他标准工具实现？

哈普！

Answer 1

我编写 TxtSushi 主要是为了对平面文件进行 SQL 选择。以下是示例的命令链（所有这些命令都来自 TxtSushi）：

tabtocsv animals.txt | namecolumns - | tssql -table animals - \
'select col1, max(as_int(col2)) from animals group by col1'

namecolumns 是必需的，因为 girls.txt 没有标题行。您可以通过查看 示例脚本。主页底部还有类似工具的链接。

Answer 2

使用 DBD::AnyData 的 Perl DBI

Answer 3

你可以使用sqlite。下面是一个使用 Python 的示例。

import sqlite3
conn = sqlite3.connect('/tmp/test.db')
cursor = conn.cursor()
try:
    cursor.execute("""create table table1 (word varchar not null, number varchar not null)""")
except: pass
cursor.execute("insert into table1 values ('dog', '15')")
cursor.execute("insert into table1 values ('cat', '20')")
cursor.execute("insert into table1 values ('dog', '10')")
cursor.execute("select max(number) , word from table1 group by word")
print cursor.fetchall()

输出

$ ./python.py
[(u'20', u'cat'), (u'15', u'dog')]

Answer 4

我刚刚偶然发现 这个 Python 脚本 它的功能与您想要的类似，尽管它只支持非常基本的查询。

Answer 5

我们将拥有一个用于 sqlite 的轻量级 ORM，它可以简化此任务，而无需需要任何配置文件等。

如果您可以使用PowerShell，它具有许多用于解析和查询文本文件的强大功能（示例）。否则，使用 .NET/Mono，您可以将其切入并立即使用 LINQ。

Answer 6

我从来没有为我的问题找到令人满意的答案，但我至少使用 uniq 的“-f”选项找到了我的玩具问题的解决方案，这是我不知道的

cat animals.txt | sort -t " " -k1,1 -k2,2nr \
| awk -F' ' '{print $2, " ", $1}' | uniq -f 1

：显然，如果输入文件是使用相反顺序的列创建的，则可以完全跳过上面的 >awk 部分。

不过，我仍然对类似 SQL 的工具抱有希望。

Answer 7

我制作了一个可能有帮助的工具。
http://www.mccoyonlinestore.com/index.php?txtSearch=mccoy_rdbms
你的sql可能是“从动物中选择最大值（值）”
或者可以通过“按值描述从动物顺序中选择*”

Answer 8

您可以查找HXTT JDBC 驱动程序。他们为大多数类型的平面文件、Excel 等提供 JDBC 驱动程序。

您可以对其执行简单的 SQL 查询。

他们也有试用版