使用 R 中的模糊/近似字符串匹配合并两个数据框

Question

描述

我有两个数据集，其中包含需要合并的信息。我拥有的唯一公共字段是不完全匹配的字符串和可能有很大不同的数字字段

解释问题的唯一方法是向您显示数据。这是 a.csv 和 b.csv。我正在尝试将 B 合并到 A。B

中有三个字段，A 中有四个字段。公司名称（仅限文件 A）、基金名称、资产类别和资产。到目前为止，我的重点是尝试通过替换单词或部分字符串来创建精确匹配，然后使用：来匹配基金名称，

a <- read.table(file = "http://bertelsen.ca/R/a.csv",header=TRUE, sep=",", na.strings=F, strip.white=T, blank.lines.skip=F, stringsAsFactors=T) 
b <- read.table(file = "http://bertelsen.ca/R/b.csv",header=TRUE, sep=",", na.strings=F, strip.white=T, blank.lines.skip=F, stringsAsFactors=T)
merge(a,b, by="Fund.Name") 

但是，这只能使我达到大约 30% 的匹配率。剩下的事情我必须手工完成。

资产是一个数字字段，两者并不总是正确的，如果基金资产较低，则可能会有很大差异。资产类别是一个字符串字段，在两个文件中“通常”相同，但存在差异。

文件 B 中不同系列的基金让情况变得更加复杂。例如：

AGF 加拿大价值

AGF 加拿大价值-D

在这些情况下，我必须选择不连续的那一项，或者选择称为“A”、“-A”或“Advisor”的那一项作为比赛。

问题

您认为最好的方法是什么？这项练习是我每月必须做的事情，手动匹配它们非常耗时。代码示例将很有帮助。

IDEAS

我认为可能有效的一种方法是根据字符串中每个单词的第一个大写字母规范字符串。但我一直无法弄清楚如何使用 R 来实现这一点。

我考虑的另一种方法是根据资产、基金名称、资产类别和公司的组合创建匹配索引。但同样，我不确定如何使用 R 来做到这一点。或者，就此而言，如果可能的话。

非常感谢代码、评论、想法和方向的示例！

Answer 1

强烈建议使用 dgrtwo/fuzzyjoin 包。
<代码>
stringdist_inner_join(a,b, by="基金名称")

Answer 2

一个快速建议：在使用合并之前尝试分别对不同字段进行一些匹配。最简单的方法是使用 pmatch 函数，尽管 R 并不缺少文本匹配函数（例如 agrep）。这是一个简单的示例：

pmatch(c("med", "mod"), c("mean", "median", "mode"))

对于您的数据集，这会匹配 a 中的所有基金名称：

> nrow(merge(a,b,x.by="Fund.Name", y.by="Fund.name"))
[1] 58
> length(which(!is.na(pmatch(a$Fund.Name, b$Fund.name))))
[1] 238

创建匹配项后，您可以使用这些匹配项轻松地将它们合并在一起。

Answer 3

近似字符串匹配不是一个好主意，因为不正确的匹配会使整个分析无效。如果每个来源的名称每次都相同，那么构建索引对我来说似乎也是最好的选择。这在 R 中很容易完成：

假设您有数据：

a<-data.frame(name=c('Ace','Bayes'),price=c(10,13))
b<-data.frame(name=c('Ace Co.','Bayes Inc.'),qty=c(9,99))

一次为每个源构建一个名称索引，也许使用 pmatch 等作为起点，然后手动验证。

a.idx<-data.frame(name=c('Ace','Bayes'),idx=c(1,2))
b.idx<-data.frame(name=c('Ace Co.','Bayes Inc.'), idx=c(1,2))

然后对于每次运行合并使用：

a.rich<-merge(a,a.idx,by="name")
b.rich<-merge(b,b.idx,by="name")
merge(a.rich,b.rich,by="idx")

这将为我们提供：

  idx name.x price     name.y qty
1   1    Ace    10    Ace Co.   9
2   2  Bayes    13 Bayes Inc.  99

Answer 4

我也是加拿大本地人，认识基金名称。

这是一项困难的工作，因为每个数据提供者都会为各个基金名称选择自己的形式。有些使用不同的结构，例如全部结束于基金或类别，其他则遍布各处。每个人似乎也选择了自己的短片，并且这些短片会定期变化。

这就是为什么像您这样的许多人定期手动执行此操作。一些咨询公司确实列出了链接各种来源的索引，不确定您是否探索过这条路线？

正如 Shane 和 Marek 指出的那样，这是一个匹配任务，而不是直接连接。许多公司都在这一问题上苦苦挣扎。我正在做这件事……

杰伊