函数 strtok 中的分隔符序列

Question

我正在尝试使用 C++ 中的函数 strtok() 获取令牌。当您仅使用 1 个分隔符时，非常简单，例如： token = strtok(auxiliar,"[,]");。每次函数找到[、、或]时，都会剪切auxiliar。

我想要的是获取带有一系列分隔符的标记，例如：[,] 可以使用 strtok 函数来做到这一点吗？我找不到路。

谢谢你！

Answer 1

如果您希望 strtok 将 [,] 视为单个标记，则无法完成此操作。 strtok 始终将您在分隔符字符串中传递的任何内容视为单独的 1 字符分隔符。

除此之外，无论如何最好不要在 C++ 中使用 strtok。它不是可重入的（例如，不能嵌套调用），不是类型安全的，并且非常容易以产生令人讨厌的错误的方式使用。

最简单的解决方案是简单地使用 std::string 在循环中搜索所需的特定分隔符。如果您需要更复杂的功能，Boost 库中有标记器，我还发布了仅使用标准库进行更全面标记化的代码，此处。

我上面链接的代码也将分隔符视为单个字符，但我认为代码可以按照您想要的方式扩展。

Answer 2

如果这确实是 C++，则应该使用 std::string 而不是 C 字符串。

下面是一个仅使用 STL 将 std::string 拆分为 std::vector 的示例：

#include <cstddef>
#include <string>
#include <vector>

std::vector<std::string> split(std::string str, std::string sep) {
    std::vector<std::string> vec;

    size_t i = 0, j = 0;
    do {
        i = str.find(sep, j);
        vec.push_back( str.substr(j, i-j) );
        j = i + sep.size();
    } while (i != str.npos);

    return vec;
}

int main() {
    std::vector<std::string> vec = split("This[,]is[[,]your, string", "[,]");
    // vec is contains "This", "is[", "your, string"

    return 0;
}

Answer 3

如果您可以使用新的 C++11 功能，则可以使用正则表达式和标记迭代器来实现。例如：

regex reg("\[,\]");
const sregex_token_iterator end;
string aux(auxilar);
for(sregex_token_iterator iter(aux.begin(), aux.end(), reg); iter != end; ++iter) {
    cout << *iter << endl;
}

这个例子来自 Wrox 的《Professional C++》一书。

Answer 4

如果你可以使用 boost 库，我认为这会做你想做的事 - 不完全确定，因为你的问题有点不清楚

#include <iostream>
#include <vector>
#include <string>

#include <boost/tokenizer.hpp>

int main(int argc, char *argv[])
{
   std::string data("[this],[is],[some],[weird],[fields],[data],[I],[want],[to],[split]");

   boost::tokenizer<boost::char_separator<char> > tokens(data, boost::char_separator<char>("],["));

   std::vector<std::string> words(tokens.begin(), tokens.end());

   for(std::vector<std::string>::const_iterator i=words.begin(),end=words.end(); i!=end; ++i)
   {
      std::cout << '\'' << *i << "'\n";
   }
   return 0;
}

这会产生以下输出

'this'
'is'
'some'
'weird'
'fields'
'data'
'I'
'want'
'to'
'split'