C中strtok和strsep有什么区别

Question

有人可以解释一下 strtok() 和 strsep() 之间有什么区别吗？ 它们有什么优点和缺点？ 为什么我会选择其中一个而不是另一个。

Answer 1

strtok() 和strsep() 是 strtok() 是标准化的（由 C 标准，因此也由 POSIX），但是 strsep() 未标准化（由 C或 POSIX； GNU C 库，起源于 BSD）。因此，可移植代码更有可能使用 strtok() 而不是 strsep()。

另一个区别是，对不同字符串的 strsep() 函数的调用可以交错，而使用 strtok() 则无法做到这一点（尽管可以使用 strtok_r ())。因此，在库中使用 strsep() 不会意外破坏其他代码，而在库函数中使用 strtok() 必须记录下来，因为其他代码使用 strtok() 不能同时调用库函数。

strsep() 的手册页位于 kernel.org 说：

引入 strsep() 函数作为 strtok(3) 的替代品，因为后者无法处理空字段。

因此，另一个主要区别是 George Gaál 在他的回答中强调的区别； strtok() 允许单个标记之间有多个分隔符，而 strsep() 期望标记之间有单个分隔符，并将相邻分隔符解释为空标记。

strsep() 和 strtok() 都会修改其输入字符串，并且都不能让您识别标记标记结尾的分隔符（因为两者都写入 NUL ' \0' 位于标记末尾之后的分隔符上）。

何时使用它们？

• 当您想要空标记而不是允许标记之间存在多个分隔符，并且您不介意可移植性时，您可以使用 strsep() 。
• 当您希望在标记之间允许多个分隔符并且不希望空标记时（并且 POSIX 对您来说具有足够的可移植性），您可以使用 strtok_r() 。
• 如果您不这样做，只有当有人威胁您的生命时您才会使用 strtok()。而且你只会使用它足够长的时间来让你摆脱危及生命的情况；然后你会再次放弃对它的所有使用。它有毒；不要使用它。编写自己的 strtok_r() 或 strsep() 比使用 strtok() 更好。

为什么strtok()有毒？

如果在库函数中使用 strtok() 函数，则该函数是有毒的。如果您的库函数使用 strtok()，则必须清楚地记录它。

这是因为：

1. 如果任何调用函数正在使用 strtok() 并调用也使用 strtok() 的函数，则会破坏该调用函数。
2. 如果您的函数调用任何调用 strtok() 的函数，则会破坏您的函数对 strtok() 的使用。
3. 如果您的程序是多线程的，则在任何给定时间最多有一个线程可以在一系列 strtok() 调用中使用 strtok()。

此问题的根源在于调用之间保存的状态，该状态允许 strtok() 从中断处继续。除了“不要使用 strtok()”之外，没有其他明智的方法可以解决该问题。

• 如果可用，您可以使用 strsep()。
• 您可以使用 POSIX 的 strtok_r() 如果它是可用的。
• 您可以使用 Microsoft 的 strtok_s()，如果它是可用的。
• 名义上，您可以使用 ISO/IEC 9899:2011 附件 K.3.7.3.1 函数 strtok_s()，但其接口与 strtok_r() 和 Microsoft 的 strtok_r() 不同。代码>strtok_s()。

BSD strsep()：

char *strsep(char **stringp, const char *delim);

POSIX strtok_r()：

char *strtok_r(char *restrict s, const char *restrict sep, char **restrict state);

Microsoft strtok_s()：

char *strtok_s(char *strToken, const char *strDelimit, char **context);

附件 K strtok_s()：

char *strtok_s(char * restrict s1, rsize_t * restrict s1max,
               const char * restrict s2, char ** restrict ptr);

注意它有 4 个参数，而不是 strtok() 上其他两个变体中的 3 个参数。

Answer 2

来自 GNU C 库手册 - 查找令牌在字符串中：

strsep 和 strtok_r 之间的一个区别是，如果输入字符串在一行中包含多个分隔符字符，strsep 返回一个空分隔符中每对字符的字符串。这意味着程序通常应该在处理 strsep 之前测试是否返回空字符串。

Answer 3

strtok() 和 strsep() 的第一个区别是它们处理输入字符串中连续分隔符的方式。

strtok() 处理连续分隔符：

#include <stdio.h>
#include <string.h>
#include <stdlib.h>

int main(void) {
    const char* teststr = "aaa-bbb --ccc-ddd"; //Contiguous delimiters between bbb and ccc sub-string
    const char* delims = " -";  // delimiters - space and hyphen character
    char* token;
    char* ptr = strdup(teststr);

    if (ptr == NULL) {
        fprintf(stderr, "strdup failed");
        exit(EXIT_FAILURE);
    }

    printf ("Original String: %s\n", ptr);

    token = strtok (ptr, delims);
    while (token != NULL) {
        printf("%s\n", token);
        token = strtok (NULL, delims);
    }

    printf ("Original String: %s\n", ptr);
    free (ptr);
    return 0;
}

输出：

# ./example1_strtok
Original String: aaa-bbb --ccc-ddd
aaa
bbb
ccc
ddd
Original String: aaa

在输出中，您可以看到紧随其后的标记 "bbb" 和 "ccc"其他。 strtok() 不指示连续分隔符的出现。另外，strtok() 修改输入字符串。

strsep() 处理连续分隔符：

#include <stdio.h>
#include <string.h>
#include <stdlib.h>

int main(void) {
    const char* teststr = "aaa-bbb --ccc-ddd"; //Contiguous delimiters between bbb and ccc sub-string
    const char* delims = " -";  // delimiters - space and hyphen character
    char* token;
    char* ptr1;
    char* ptr = strdup(teststr);

    if (ptr == NULL) {
        fprintf(stderr, "strdup failed");
        exit(EXIT_FAILURE);
    }

    ptr1 = ptr;

    printf ("Original String: %s\n", ptr);
    while ((token = strsep(&ptr1, delims)) != NULL) {
        if (*token == '\0') {
            token = "<empty>";
        }
        printf("%s\n", token);
    }

    if (ptr1 == NULL) // This is just to show that the strsep() modifies the pointer passed to it
        printf ("ptr1 is NULL\n");
    printf ("Original String: %s\n", ptr);
    free (ptr);
    return 0;
}

输出：

# ./example1_strsep
Original String: aaa-bbb --ccc-ddd
aaa
bbb
<empty>             <==============
<empty>             <==============
ccc
ddd
ptr1 is NULL
Original String: aaa

在输出中，您可以看到 bbb< 之间有两个空字符串（通过 表示） /code> 和 ccc。这两个空字符串用于 "bbb" 和 "ccc" 之间的 "--"。当 strsep() 在 "bbb" 之后发现分隔符 ' ' 时，它会将分隔符替换为 '\0' 字符并返回 "bbb"。此后，strsep() 找到了另一个分隔符'-'。然后它用 '\0' 字符替换分隔符并返回空字符串。下一个分隔符也是如此。

当 strsep() 返回指向空字符的指针（即值为 '\0' 的字符）时，指示连续分隔符）。

strsep() 修改输入字符串以及指针，该指针的地址作为第一个参数传递给 strsep()。

第二个区别是，strtok() 依赖静态变量来跟踪字符串中的当前解析位置。此实现需要在开始第二个字符串之前完全解析一个字符串。但 strsep() 的情况并非如此。

当另一个 strtok() 未完成时调用 strtok()：

#include <stdio.h>
#include <string.h>

void another_function_callng_strtok(void)
{
    char str[] ="ttt -vvvv";
    char* delims = " -";
    char* token;

    printf ("Original String: %s\n", str);
    token = strtok (str, delims);
    while (token != NULL) {
        printf ("%s\n", token);
        token = strtok (NULL, delims);
    }
    printf ("another_function_callng_strtok: I am done.\n");
}

void function_callng_strtok ()
{
    char str[] ="aaa --bbb-ccc";
    char* delims = " -";
    char* token;

    printf ("Original String: %s\n", str);
    token = strtok (str, delims);
    while (token != NULL)
    {
        printf ("%s\n",token);
        another_function_callng_strtok();
        token = strtok (NULL, delims);
    }
}

int main(void) {
    function_callng_strtok();
    return 0;
}

输出：

# ./example2_strtok
Original String: aaa --bbb-ccc
aaa
Original String: ttt -vvvv
ttt
vvvv
another_function_callng_strtok: I am done.

函数 function_callng_strtok() 仅打印标记 "aaa" 并且不会打印输入字符串的其余标记，因为它调用 another_function_callng_strtok() ，而后者又调用 strtok() 并设置当完成提取所有标记时，strtok() 的静态指针指向 NULL。控制回到function_callng_strtok() while循环，由于静态指针指向，strtok()返回NULL到 NULL 并使循环条件 false 并退出循环。

当另一个 strsep() 未完成时调用 strsep()：

#include <stdio.h>
#include <string.h>

void another_function_callng_strsep(void)
{
    char str[] ="ttt -vvvv";
    const char* delims = " -";
    char* token;
    char* ptr = str;

    printf ("Original String: %s\n", str);
    while ((token = strsep(&ptr, delims)) != NULL) {
        if (*token == '\0') {
            token = "<empty>";
        }
        printf("%s\n", token);
    }
    printf ("another_function_callng_strsep: I am done.\n");
}

void function_callng_strsep ()
{
    char str[] ="aaa --bbb-ccc";
    const char* delims = " -";
    char* token;
    char* ptr = str;

    printf ("Original String: %s\n", str);
    while ((token = strsep(&ptr, delims)) != NULL) {
        if (*token == '\0') {
            token = "<empty>";
        }
        printf("%s\n", token);
        another_function_callng_strsep();
    }
}

int main(void) {
    function_callng_strsep();
    return 0;
}

输出：

# ./example2_strsep
Original String: aaa --bbb-ccc
aaa
Original String: ttt -vvvv
ttt
<empty>
vvvv
another_function_callng_strsep: I am done.
<empty>
Original String: ttt -vvvv
ttt
<empty>
vvvv
another_function_callng_strsep: I am done.
<empty>
Original String: ttt -vvvv
ttt
<empty>
vvvv
another_function_callng_strsep: I am done.
bbb
Original String: ttt -vvvv
ttt
<empty>
vvvv
another_function_callng_strsep: I am done.
ccc
Original String: ttt -vvvv
ttt
<empty>
vvvv
another_function_callng_strsep: I am done.

在这里您可以看到，在完全解析一个字符串之前调用 strsep()没有任何区别。

因此，strtok() 和 strsep() 的缺点是都会修改输入字符串，但 strsep() 比 strsep() 有几个优点code>strtok() 如上所示。

来自strsep：

strsep() 函数旨在替代 strtok() 函数。虽然出于可移植性原因应首选 strtok() 函数（它符合 ISO/IEC 9899:1990 (``ISO C90'')），但它无法处理空字段，即检测由两个相邻分隔符字符分隔的字段，或一次用于多个字符串。 strsep()函数首先出现在4.4BSD中。

---

供参考：

• strtok() 和 strtok_r()
• strsep()