像 SAS 一样加入 bash

Question

我想使用公共列在 bash 中加入两个文件。我想保留两个文件中所有可配对和不可配对的行。不幸的是，使用 join 我只能从一个文件中保存不可配对的字段，例如。 加入 -1 1 -2 2 -a1 -t" "。
我还想保留两个文件中重复条目（在连接列中）的所有配对。 即如果 file1 是
x id1 ab
x id1 光盘
x id1 df
x id2 cx
x id3 fv

第二个文件是

id1 df cf
id1 ds dg
id2 cv df
id2 as ds
id3 cf cg

结果文件应该是：< br>

x id1 ab df cf
x id1 ab ds dg
x id1 cd df cf
x id1 cd ds dg
x id1 df df cf
x id1 df ds dg
x id2 cx cv df
x id2 cx as ds
x id3 fv cf cg

这就是为什么我一直使用SAS

数据x;
合并文件1文件2；
通过 common_column;
run;

它工作正常，但是
1. 因为我大部分时间都使用 Ubuntu，所以我必须切换到 Windows 来合并 SAS 中的数据。
2.最重要的是，SAS 可以截断太长的数据条目。

这就是为什么我更愿意在 bash 中加入我的文件，但我不知道合适的命令。
有人可以帮助我，或指导我找到适当的资源吗？

Answer 1

根据 join 的手册页，-a 保留文件 中所有不可配对的行（1 或 2） 。因此，只需将 -a1 -a2 添加到命令行即可完成。例如：

# cat a
1 blah
2 foo

# cat b
2 bar
3 baz

# join -1 1 -2 1 -t" " a b
2 foo bar

# join -1 1 -2 1 -t" " -a1 a b
1 blah
2 foo bar

# join -1 1 -2 1 -t" " -a2 a b
2 foo bar
3 baz

# join -1 1 -2 1 -t" " -a1 -a2 a b
1 blah
2 foo bar
3 baz

这是您要找的吗？

编辑：

由于您提供了更多详细信息，因此以下是如何生成所需的输出（请注意，我的文件 a 是您的第一个文件，我的文件 b 你的第二个文件。我必须将 -1 1 -2 2 反转为 -1 2 -2 1 才能加入 id）。我还添加了一个字段列表来格式化输出 - 请注意，“0”是其中的连接字段：

# join -1 2 -2 1 -o 1.1,0,1.3,1.4,2.2,2.3 a b

生成您给出的内容。添加 -a1 -a2 以保留两个文件中不可配对的行，然后您会得到另外两行（您可以从中猜测我的测试数据）：

x id4 u t
 id5   ui oi

这是相当不可读的，因为任何遗漏的字段只是一个空格。因此，让我们将它们替换为“-”，结果是：

# join -1 2 -2 1 -a1 -a2 -e- -o 1.1,0,1.3,1.4,2.2,2.3 a b
x id1 a b df cf
x id1 a b ds dg
x id1 c d df cf
x id1 c d ds dg
x id1 d f df cf
x id1 d f ds dg
x id2 c x cv df
x id2 c x as ds
x id3 f v cf cg
x id4 u t - -
- id5 - - ui oi

Answer 2

如果 join 命令不够强大，如果我需要执行，我通常使用 sqlite shell中的此类操作。

您可以轻松地将平面文件导入到表中，然后使用正确的 JOIN 执行 SQL SELECT 。

请注意，使用 sqlite，您可以利用索引来使连接更快。

sqlite3 << EOF!
CREATE TABLE my table1 (.... -- define your table here
CREATE TABLE my table2 (.... -- define your table here
.separator "," -- define input field separator here if needed
.import input_file.txt mytable1
.import input_file.txt mytable2
SELECT ... JOIN ...
EOF!

sqlite 是免费的、多平台的。非常方便。