来自字符串的 PHP 令牌

Question

假设您有一个如下所示的字符串： token1 token2 tok3

并且您想要获取所有标记（特别是空格之间的字符串），以及它们的位置（偏移量）和长度）。

所以我想要一个看起来像这样的结果：

array(
    array(
        'value'=>'token1'
        'offset'=>0
        'length'=>6
    ),
    array(
        'value'=>'token2'
        'offset'=>7
        'length'=>6
    ),
    array(
        'value'=>'tok3'
        'offset'=>14
        'length'=>4
    ),
)

我知道这可以通过简单地循环字符串的字符来完成，并且我可以简单地编写一个函数来执行此操作。

我想知道，PHP 是否有任何内置的东西可以有效地完成此操作或至少有助于部分完成此操作？

我正在寻求建议并感谢所提供的任何帮助。谢谢

Answer 1

您可以将 preg_match_all 与 PREG_OFFSET_CAPTURE 标志一起使用：

$str = 'token1 token2 tok3';
preg_match_all('/\S+/', $str, $matches, PREG_OFFSET_CAPTURE);
var_dump($matches);

然后您只需要替换 $matches[0] 中的项目，如下所示：

function update($match) {
    return array( 'value' => $value[0], 'offset' => $value[1], 'length' => strlen($value[0]));
}   
array_map('update', $matches[0]);
var_dump($matches[0]);

Answer 2

在大多数方面，有一种更简单的方法。您将得到一个更基本的结果，但投入的工作量要少得多。

假设您有 tokena tokenb tokenc 存储在 $data 中

$tokens = explode(' ', $data);

现在您有一个由空格分隔的令牌数组。它们将按顺序排列，因此 $tokens[0] = tokena、$tokens[1] = tokenb 等。您可以通过执行 strlen($tokens[$index]) 轻松获取任何给定项目的长度; 如果您需要知道传递了多少个令牌，请使用 $token_count = count($tokens);

没有那么复杂，但几乎不需要任何工作即可获得它。

Answer 3

您可以使用explode()，它会为您提供字符串中的标记数组，并使用strlen()来计算字符串中的字符数。据我所知，我不认为有 PHP 函数可以告诉你元素在数组中的位置。

要解决最后一个问题，您可以使用一个计数器变量来循环经过 explod() 数组（foreach() for for() >) 并给出新数据中每个子数组的位置。

如果我错了，请有人纠正我。

詹姆斯

Answer 4

我最喜欢第一个答案 - 使用 PREG_OFFSET_CAPTURE。如果其他人感兴趣，我最终也写了一些这样做的东西，尽管我将接受第一个答案。

谢谢大家的帮助！

function get_words($string) {
    $string_chars = str_split($string);

    $words = array();
    $curr_offset = 0;

    foreach($reduced_string_chars as $offset=>$char) {
        if ($char == ' ') {
            if ($length) $words[] = array('offset'=>$curr_offset,'length'=>$length,'value'=>implode($value_array));

            $curr_offset = $offset;
            $length = 0;
            $value_array = array();
        }
        else {
            $length++;
            $value_array[] = $char;
        }

    }

    return $words;
}