Java 或 Pig 正则表达式从 UserAgent 字符串中删除值

Question

我需要删除用户代理字符串的“括号”部分中的第三个及后续值。

为了得到

Mozilla/4.0（兼容；MSIE 8.0）

）

Mozilla/4.0（兼容；MSIE 8.0；Windows NT 6.0；Trident/4.0；GTB6；SLCC1；.NET CLR 2.0.50727；Media Center PC 5.0；.NET CLR 3.5.30729；WinTSI 06.12.2009；.NET CLR 3.0.30729； .NET4.0C)

我成功使用 sed 命令，

 sed 's/(\([^;]\+; [^;]\+\)[^)]*)/(\1)/'

我需要使用 Java 正则表达式在 Apache Pig 中获得相同的结果。 有人可以帮我将上面的 sed 正则表达式重写为 Java 吗？

像这样的东西：

new = FOREACH userAgent GENERATE FLATTEN(EXTRACT(userAgent, 'JAVA REGEX?') as (term:chararray);

Answer 1

我不使用 Pig，但浏览文档会发现一个 REPLACE 函数，它包装了 Java 的 replaceAll() 方法。试试这个：

REPLACE(userAgent, '\(([^;]+; [^;]+)[^)]*\)', '($1)')

这应该匹配 UserAgent 字符串的整个括号部分，并用前两个分号分隔的术语替换其内容，就像 sed 命令所做的那样。

Answer 2

在java中，如果您使用Matcher类，您可以提取捕获组。以下内容似乎可以满足您的要求，至少对于您提供的测试用例而言。

import java.util.regex.Matcher;
import java.util.regex.Pattern;


public class Test {

    public static void main(String[] args){
        String str = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; GTB6; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.5.30729; WinTSI 06.12.2009; .NET CLR 3.0.30729; .NET4.0C)";
        //str = "aaa";
        Pattern pat = Pattern.compile("(.*\\(.*?;.*?;).*\\)");
        Matcher m = pat.matcher(str);
        System.out.println(m.lookingAt());
        String group = m.group(1) + ")";
        System.out.println(group);
    }
 }

嗯...我似乎回答了错误的问题，因为你问的是如何从“PIG”而不是直接的 JAVA 中做到这一点。

Answer 3

由于两个建议的解决方案似乎都不适用于 PIG，我将发布通过流使用 sed 的解决方法：

user_agent_mangled = STREAM logs THROUGH `sed 's/(\\([^;]\\+; [^;]\\+\\)[^)]*)/(\\1)/'`;

这效果很好，但我仍然更喜欢本机 PIG 解决方案（使用 EXTRACT 或 REPLACE 函数）。