在 c 中使用 strtok() 将字符串标记两次

Question

我在 c 中使用 strtok() 来解析 csv 字符串。首先，我对其进行标记以找出有多少标记，以便我可以分配正确大小的字符串。然后我使用上次用于标记化的相同变量。每次我第二次这样做时，尽管还有更多标记需要解析，但它 strtok(NULL, ",") 返回 NULL 。有人可以告诉我我做错了什么吗？

char* tok;
int count = 0;
tok = strtok(buffer, ",");
while(tok != NULL) {
    count++;
    tok = strtok(NULL, ",");
}

//allocate array

tok = strtok(buffer, ",");
while(tok != NULL) {
    //do other stuff
    tok = strtok(NULL, ",");
}

因此，在第二个 while 循环中，即使有更多令牌，它总是在找到第一个令牌后结束。有人知道我做错了什么吗？

Answer 1

strtok() 修改其操作的字符串，用空值替换分隔符。因此，如果您想多次使用它，则必须制作一份副本。

Answer 2

不一定需要制作副本 - strtok() 确实会修改其标记化的字符串，但在大多数情况下，这仅意味着如果您想再次处理标记，则该字符串已经标记化。

这是您的程序经过一些修改以在第一次通过后处理令牌：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

int main()
{
    int i;
    char buffer[] = "some, string with  ,  tokens";

    char* tok;
    int count = 0;
    tok = strtok(buffer, ",");
    while(tok != NULL) {
        count++;
        tok = strtok(NULL, ",");
    }


    // walk through the tokenized buffer again
    tok = buffer;

    for (i = 0; i < count; ++i) {
        printf( "token %d: \"%s\"\n", i+1, tok);
        tok += strlen(tok) + 1;  // get the next token by skipping past the '\0'
        tok += strspn(tok, ","); //   then skipping any starting delimiters
    }

     return 0;
  }

请注意，不幸的是，这比我第一次发布的更棘手 - 对 strspn() 的调用需要在跳过 '\0' 后执行由 strtok() 放置，因为 strtok() 将跳过其返回的标记的任何前导分隔符（而不替换源中的分隔符）。

Answer 3

使用 strsep - 它实际上会更新您的指针。在你的情况下，你必须继续调用 NULL 而不是传入字符串的地址。 strsep 的唯一问题是，如果它之前已在堆上分配，请保留指向开头的指针，然后稍后释放它。

char *strsep(char **string, char *delim);

字符*字符串；
字符*令牌；
token = strsep(&字符串, ",");

strtok 在您的常规 C 入门课程中使用 - 使用 strsep，它要好得多。 :-)
不要对“哦该死 - 我仍然必须传入 NULL 因为 strtok 搞砸了我的定位”感到困惑。