字符串列值的功能比较红移

Question

我正在使用对于列字符串案例不敏感的比较。更好地处理我所做的字符串尺寸

select *
    from testset t
    join predictions p
    on p.id = c.id and
    c.text ilike '%'+p.text+'%'

union

select *
    from testset t
    join predictions p
    on p.id = c.id and
    p.text ilike '%'+c.text+'%'

，以考虑长度（c）＆gt;长度（P）和Viceversa。顺便说一句，类似物具有多个限制，例如

p.text = "TOKEN1 TOKEN2 TOKEN3"
c.text = "TOKEN1 TOKEN3"

它无法正常工作。 然后我在想使用 redshift函数函数），但我不确定如何支持Levenshtein距离，字符串相似性（带有阈值）等诸如该功能（以及可能是可能的），使用 udf python函数。

我现在的看法

create or replace function f_compare(a VARCHAR, b VARCHAR) returns float IMMUTABLE as $$
    def diff(strL, strR):
        from difflib import SequenceMatcher
        ratio = SequenceMatcher(None, strL, strR).ratio()
        return ratio
    return diff(a,b)
    return f_compare(a,b)
$$ LANGUAGE plpythonu;  

with samples as (
    select 
    cast('TOKEN1 TOKEN3' as VARCHAR) as name,
    cast('TOKEN1 TOKEN2 TOKEN3' as VARCHAR) as name1
)

select f_compare(name, name1) from samples

Answer 1

您可以使用Python库，而不是编写自己的图书馆。 thefuzz 很受欢迎。

它使用Levenshtein距离来计算简单使用程序包中序列之间的差异。

UDF

CREATE FUNCTION fuzzy_test (string_a TEXT,string_b TEXT) RETURNS FLOAT IMMUTABLE
AS
$
  FROM fuzzywuzzy import fuzz 
  RETURN fuzz.ratio (string_a,string_b) 
$ LANGUAGE plpythonu;

查询，

SELECT fuzzy_test('brooklyn bridge', 'brooklin bridge');
-- Output
-- 93

您必须将该库导入到红移群集中。从 github 下载fuzzywuzzy repo。

CREATE LIBRARY fuzzywuzzy LANGUAGE plpythonu FROM 's3://<bucket_name>/fuzzywuzzy.zip' CREDENTIALS 'aws_access_key_id=<access key id>;aws_secret_access_key=<secret key>'