hive regexp_extract 怪异

Question

我在 regexp_extract 方面遇到一些问题：

我正在查询制表符分隔的文件，我正在检查的列具有如下所示的字符串：

abc.def.ghi

现在，如果我这样做：

select distinct regexp_extract(name, '[^.]+', 0) from dummy;

MR 作业运行，它可以工作，并且我得到“abc”从索引 0 开始。

但是现在，如果我想从索引 1 中获取“def”：

select distinct regexp_extract(name, '[^.]+', 1) from dummy;

Hive 失败并显示：

2011-12-13 23:17:08,132 Stage-1 map = 0%,  reduce = 0%
2011-12-13 23:17:28,265 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_201112071152_0071 with errors
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask

日志文件显示：

java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row

我在这里做的事情根本上是错误的吗？

谢谢， 马里奥

Answer 1

从文档 https://cwiki.apache.org/confluence/display/Hive /LanguageManual+UDF 看起来 regexp_extract() 是您想要提取的数据的记录/行提取。

它似乎适用于第一次发现（然后退出）而不是全局。因此索引引用捕获组。

0 = 整场比赛
1 = 捕获组 1
2 = 捕获组 2 等...

摘自手册：

regexp_extract('foothebar', 'foo(.*?)(bar)', 2)
                                  ^    ^   
               groups             1    2

This returns 'bar'.

因此，在您的情况下，要获取点后的文本，类似这样的操作可能会起作用：
regexp_extract(name, '\.([^.]+)', 1)
或者这个
regexp_extract(name, '[.]([^.]+)', 1)

edit

我对此重新感兴趣，仅供参考，可能有适合您的快捷方式/解决方法。

看起来您想要用点 . 字符分隔特定的段，这几乎就像分割一样。
如果它被量化多次，那么所使用的正则表达式引擎很可能会覆盖一个组。
您可以通过以下方式利用这一点：

返回第一个段：abc.def.ghi
regexp_extract(name, '^(?:([^.]+)\.?){1}', 1)

返回第二段：abc.def。吉
regexp_extract(name, '^(?:([^.]+)\.?){2}', 1)

返回第三段：abc.def.ghi
regexp_extract(name, '^(?:([^.]+)\.?){3}', 1)

索引不会更改（因为索引仍然引用捕获组 1 )，只有正则表达式重复发生变化。

一些注意事项：

• 这个正则表达式 ^(?:([^.]+)\.?){n} 有问题。
  它要求段中的点之间有一些东西，否则正则表达式将不匹配 ...。

• 可能是这个 ^(?:([^.]*)\.?){n} 但即使少于 n-1 个点也会匹配，
  包括空字符串。这可能不是我们所希望的。

有一种方法可以做到这一点，它不需要点之间的文本，但仍然需要至少 n-1 个点。
这使用前瞻断言和捕获缓冲区 2 作为标志。

^(?:(?!\2)([^.]*)(?:\.|$())){2} ，其他一切都相同。

所以，如果它使用 java 风格的正则表达式，那么这应该可以工作。
regexp_extract(name, '^(?:(?!\2)([^.]*)(?:\.|$())){2}', 1) 更改 {2 } 到任何需要的“段”（这就是段 2）。

并且在第 {N} 次迭代后它仍然返回捕获缓冲区 1。

这里它被分解了

^                # Begining of string
 (?:             # Grouping
    (?!\2)            # Assertion: Capture buffer 2 is UNDEFINED
    ( [^.]*)          # Capture buffer 1, optional non-dot chars, many times
    (?:               # Grouping
        \.                # Dot character
      |                 # or,
        $ ()              # End of string, set capture buffer 2 DEFINED (prevents recursion when end of string)
    )                 # End grouping
 ){3}            # End grouping, repeat group exactly 3 (or N) times (overwrites capture buffer 1 each time)

如果它不做断言，那么这是行不通的！

Answer 2

我认为你必须建立“团体”，不是吗？

select distinct regexp_extract(name, '([^.]+)', 1) from dummy;

（未经测试）

我认为它的行为类似于 java 库，这应该可以工作，但请告诉我。