提高读取文件时的空间复杂度

Question

我在文件中有一行任意长的整数（或浮点值），用逗号分隔：

1,2,3,4,5,6,7,8,2,3,4,5,6,7,8,9,3,...  (can go upto >100 MB)

现在，我必须读取这些值并将它们存储在数组中。

我当前的实现如下所示：

 float* read_line(int dimension)
   {
     float *values = new float[dimension*dimension]; // a line will have dimension^2 values
     std::string line;
     char *token = NULL, *buffer = NULL, *tmp = NULL;
     int count = 0;

     getline(file, line);
     buffer = new char[line.length() + 1];
     strcpy(buffer, line.c_str());
     for( token = strtok(buffer, ","); token != NULL; token = strtok(NULL, ","), count++ )
       {
         values[count] = strtod(token, &tmp);
       }
     delete buffer;
     return values;
   }

我不喜欢这个实现，因为：

• 使用 ifstream 整个文件被加载到内存中，并且 然后被克隆成 float []
• 存在不必要的重复（从 std::string 转换为 const char*）

有哪些优化方法内存利用率？

谢谢！

Answer 1

像这样的东西吗？

float val;
while (file >> val)
{
  values[count++] = val;
  char comma;
  file >> comma; // skip comma
}

Answer 2

使用 boost tokenizer 和 istreambuf_iterator：

std::vector<float> test; //Optionally call reserve to avoid frequent memory reallocation
boost::tokenizer<boost::char_separator<char>, std::istreambuf_iterator<char> > tokens(std::istreambuf_iterator<char> (in), std::istreambuf_iterator<char>(), boost::char_separator<char>(","));
//Replace this lambda by your favourite conversion function.
std::transform(tokens.begin(), tokens.end(), std::back_inserter(test), [](std::basic_string<char> s) { return atof(s.c_str()); } );

编辑： test 是我用于 values 的内容，除了它是 std::vector 而不是数组，这通常更好 选择。

恕我直言，这段代码有一些优点。迭代器具有内置的 eof 处理，您可以非常轻松地扩展分隔符。它非常容易出错（特别是当您使用使用异常的 atof 替换时）。

Answer 3

我想尝试基于 osgx 使用 scanf 的建议：

freopen("testcases.in", "r", stdin);
while( count < total_values)
       {
         scanf("%f,",&values[count]);
         count++;
       }