strtok() 仅打印第一个单词，其余部分为（空）

Question

我正在尝试解析一个大文本文件并使用 strtok 将其拆分为单个单词。分隔符删除所有特殊字符、空格和换行符。由于某种原因，当我 printf() 它时，它只打印第一个单词和其余的一堆（null）。

    ifstream textstream(textFile);
    string textLine;
    while (getline(textstream, textLine))
    {
        struct_ptr->numOfCharsProcessedFromFile[TESTFILEINDEX] += textLine.length() + 1;
        char *line_c = new char[textLine.length() + 1]; // creates a character array the length of the line
        strcpy(line_c, textLine.c_str());               // copies the line string into the character array
        char *word = strtok(line_c, delimiters);        // removes all unwanted characters
        while (word != nullptr && wordCount(struct_ptr->dictRootNode, word) > struct_ptr->minNumOfWordsWithAPrefixForPrinting)
        {
            MyFile << word << ' ' << wordCount(struct_ptr->dictRootNode, word) << '\n'; // writes each word and number of times it appears as a prefix in the tree
            word = strtok(NULL, delimiters);                                            // move to next word
            printf("%s", word);
        }
    }

Answer 1

我不会跳过使用 strtok 所需的麻烦，而是编写一个直接使用字符串的小替换，而不修改其输入，按照这个一般顺序：

std::vector<std::string> tokenize(std::string const &input, std::string const &delims = " ") {
    std::vector<std::string> ret;
    int start = 0;

    while ((start = input.find_first_not_of(delims, start)) != std::string::npos) {
        auto stop = input.find_first_of(delims, start+1);
        ret.push_back(input.substr(start, stop-start));
        start = stop;
    }
    return ret;
}

至少对我来说，这似乎是大大简化了代码的其余部分：

std::string textLine;
while (std::getline(textStream, textLine)) {
    struct_ptr->numOfCharsProcessedFromFile[TESTFILEINDEX] += textLine.length() + 1;
    auto words = tokenize(textLine, delims);
    for (auto const &word : words) {
        MyFile << word << ' ' << wordCount(struct_ptr->dictRootNode, word) << '\n';
        std::cout << word << '\n';
    }
}

这也避免了（除其他外）您所拥有的大量内存泄漏，在循环的每次迭代中分配内存，但从不释放任何内存。

Answer 2

将 printf 向上移动两行。

while (word != nullptr && wordCount(struct_ptr->dictRootNode, word) > struct_ptr->minNumOfWordsWithAPrefixForPrinting)
{
    printf("%s", word);
    MyFile << word << ' ' << wordCount(struct_ptr->dictRootNode, word) << '\n'; // writes each word and number of times it appears as a prefix in the tree
    word = strtok(NULL, delimiters);                                            // move to next word

}

Answer 3

正如 @j23 指出的，您的 printf 位于错误的位置。

正如 @Jerry-Coffin 指出的，有更多的 C++ 风格和现代方法可以完成您尝试做的事情。除了避免突变之外，您还可以避免从文本字符串中复制单词。 （在下面的代码中，我们逐行读取，但如果您知道整个文本适合内存，您也可以将整个内容读取到 std::string 中。）

因此，使用 < code>std::string_view 避免执行额外的副本，它就像指向字符串的指针和长度。

在这里，对于一个用例，您不需要将单词存储在另一个数据结构中 - 某种单词的一次性处理：

#include <iostream>
#include <fstream>
#include <string>
#include <string_view>
#include <cctype>

template <class F>
void with_lines(std::istream& stream, F body) {
  for (std::string line; std::getline(stream,line);) {
    body(line);
  }
}

template <class F>
void with_words(std::istream& stream, F body) {
  with_lines(stream,[&body](std::string& line) {
    std::string_view line_view{line.cbegin(),line.cend()};
    while (!line_view.empty()) {
      // skip whitespaces
      for (; !line_view.empty() && isspace(line_view[0]);
       line_view.remove_prefix(1));
      size_t position = 0;
      for (; position < line_view.size() &&
         !isspace(line_view[position]);
       position++);
      if (position > 0) {
        body(line_view.substr(0,position));
        line_view.remove_prefix(position);
      }
    }
  });
}

int main (int argc, const char* argv[]) {
  size_t word_count = 0;
  std::ifstream stream{"input.txt"};
  if(!stream) {
    std::cerr
      << "could not open file input.txt" << std::endl;
    return -1;
  }
  with_words(stream, [&word_count] (std::string_view word) {
    std::cout << word_count << " " << word << std::endl;
    word_count++;
  });
  std::cout
    << "input.txt contains "
    << word_count << " words."
    << std::endl;
  return 0;
}