在一步（命令）中按列连接两个具有相同标识符的制表符分隔文件？

Question

我经常想连接两个 ascii 文件，它们都是表，因为它们由制表符分隔的列组成，如下所示：

file 1

FRUIT   ID
apple   alpha
banana  beta
cherry  gamma

file 2

ID  FOOBAR
alpha   cat
beta    dog
delta   airplane

我想用内部连接将它们连接起来：

FRUIT   ID  FOOBAR
apple   alpha   cat
banana  beta    dog

或用左连接：（

FRUIT   ID  FOOBAR
apple   alpha   cat
banana  beta    dog
cherry  gamma   n/a

用于连接的标识符不一定是唯一的。）

到目前为止我正在做的是：

1. 复制不带标题的输入文件。
2. 按列对输入文件进行排序。
3. 对已排序的版本使用 linux join 命令。
4. 删除中间文件。

这很容易出错，因为我需要对列进行计数以稍后指定它们以按数字“排序”和“连接”（对于很多列和非常宽的列更容易出错），我一定不要忘记指定选项卡是分隔符并且需要每次删除/插入/修复标题等。

任何人都可以推荐一种更简单的方法吗？最好是不需要排序并且可以按名称而不是数字指定列的地方？像“joincommand ID file1 file2 > result”之类的东西？

Answer 1

一种完全不同的方法是使用轻量级 SQL 工具，例如 sqlite。

您可以创建两个表：

$ sqlite3
SQLite version 3.7.2 
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
sqlite> create table fruit (fruit varchar(20), id varchar(20));
sqlite> create table foobar (id varchar(20), foobar varchar(20));

将 TAB 设置为分隔符并加载文件：

sqlite> .separator "\t"
sqlite> .import file1 fruit
sqlite> .import file2 foobar

删除标头：

sqlite> delete from fruit where id = 'ID';
sqlite> delete from foobar where id = 'ID';

然后执行您需要的所有查询：

sqlite> select fruit.id, fruit, foobar from fruit, foobar where fruit.id = foobar.id;
alpha   apple   cat
beta    banana  dog
sqlite> .quit
$ 

还可以在 bash 此处文档的帮助下自动执行该任务：

#!/bin/bash

sqlite3 <<-EOF
        create table fruit (fruit varchar(20), id varchar(20));
        create table foobar (id varchar(20), foobar varchar(20));
        .separator "\t"
        .import file1 fruit
        .import file2 foobar
        delete from fruit where id = 'ID';
        delete from foobar where id = 'ID';
        select fruit.id, fruit, foobar from fruit, foobar where fruit.id = foobar.id;
        .quit
EOF

Answer 2

您可以使用 bash 脚本自动执行您的任务，并且不使用临时文件，就像在这个示例中一样：

#!/bin/bash

id="$1"
file1="$2"
file2="$3"

# get a filename as a parameter
# read first line of file to get $id position
get_pos() {
  awk -v id="$id" '{
      for (i = 1; i <= NF; i++)
        if ($i == id) {
          print i
          exit
        }
    }' "$1"
}

# get $id positions from headers of the two files
pos1=$(get_pos "$file1")
pos2=$(get_pos "$file2")

# print header
printf "%s\t" "$id"
head -n1 "$file1" | sed -r "s/$id(\t|$)//" | tr -d '\n'
head -n1 "$file2" | sed -r "s/$id(\t|$)//"

# print data, add -a1 option for left join
join -t
它不执行任何错误检查，并且也许可以使用其他工具（例如 python）以更优雅的方式实现，但是我希望它有帮助。
\t' -1 $pos1 -2 $pos2 \
  <(tail -n+2 "$file1" | sort) \
  <(tail -n+2 "$file2" | sort)

它不执行任何错误检查，并且也许可以使用其他工具（例如 python）以更优雅的方式实现，但是我希望它有帮助。