删除“字符串表达式”的过程/代码是什么？使用 Apache Pig 从文件中获取？

Question

A = load '/home/wrdtest.txt';

B = foreach A generate flatten(TOKENIZE((chararray)$0)) as word;

C = filter B by word != 'the';

D = group C by word;

E = foreach D generate COUNT(C) as count, group as word;

F = order E by count desc;

store F into '/tmp/sample_data20';

我只是想过滤文本。第三步过滤文本并从文本文件中删除“the”。但我想从文本中删除一组 499 个单词（停用词）。我尝试使用“|” （如 OR ）如：

C = filter B by word != 'the|and|or'...but it didnt work.

您能否就此提出建议，我可以包含一个文本文件（如（stopwords.txt））以删除停用词。

我是 Pig 的天真的用户

Answer 1

像删除停用词这样的事情非常复杂，因此不会出现在内置函数中。您需要编写一个用户定义函数，这相当简单易做。

-- load the data line by line
lines = LOAD 'datafile.txt' USING TextLoader() AS (line:chararray);

-- apply some sort of UDF that returns the exact line without the stop words
nostop = FOREACH lines GENERATE myudfs.removestop(line);

-- store the data out
STORE nonstop INTO 'datafile_nostop.txt';

将你的清单推送到任务中是另一回事。如果列表相对较小，大约有数千个，您可以将停用词烘焙到代码中（即，对列表进行硬编码），以便它可用。否则，您可以使用分布式缓存将文件推出。

---

根据您提供的更多信息，我可以建议另一种方法。不过，我上面使用 UDF 的方法仍然有效。

这种新方法将涉及您加载其他文件，然后有效地执行反连接以删除与列表匹配的内容。您需要确保 stopwords.txt 每行有一个单词才能使其正常工作。要进行反连接（即保留列表中与其他列表不匹配的内容），我将执行 左外连接（使用 replicated），然后过滤掉停用词列为空的地方（即没有匹配的停用词）。

A = load '/home/wrdtest.txt';

-- load the stop words list
SW = load '/home/stopwords.txt' as (stopword:chararray);    

B = foreach A generate flatten(TOKENIZE((chararray)$0)) as word;

-- join the data with a left outer join
-- using replicated should be done with the right relation (SW) is small
SW2 = join B by word LEFT OUTER, SW by stopword USING 'replicated';

-- filter out where the stopword is null, meaning it is not in the stopword list
C = filter SW2 by stopword IS NULL;

-- remove the stopword column that we don't need.
C = foreach C generate word;

D = group C by word;

E = foreach D generate COUNT(C) as count, group as word;

F = order E by count desc;

store F into '/tmp/sample_data20';

Answer 2

我使用了唐纳德·迈纳的上述解决方案。

我将 JOIN 部分的关系修改为以下内容

SW2 = join B by word LEFT, SW by stopword;

并为我工作。