如何使用textscan读取文件？

Question

我有一个很大的制表符分隔文件（10000 行，15000 列），想将其导入 Matlab。

我尝试按以下方式使用 textscan 函数导入它：

function [C_text, C_data] = ReadDataFile(filename, header, attributesCount, delimiter, 

attributeFormats, attributeFormatCount)
AttributeTypes = SetAttributeTypeMatrix(attributeFormats, attributeFormatCount);
fid = fopen(filename);
if(header == 1)
    %read column headers
    C_text = textscan(fid, '%s', attributesCount, 'delimiter', delimiter);
    C_data = textscan(fid, AttributeTypes{1, 1}, 'headerlines', 1);
else
    C_text = '';
    C_data = textscan(fid, AttributeTypes{1, 1});
end


fclose(fid);

AttributeTypes{1, 1} 是一个字符串，描述每列的变量类型（在本例中，有 14740 个浮点型变量和 260 个字符串类型变量，因此 AttributeTypes{1 , 1} 是 '%f%f......%f%s%s...%s，其中 %f 重复 14740 次，%s 重复 260 次）。

当我尝试执行

>> [header, data] = ReadDataFile('data/orange_large_train.data.chunk1', 1, 15000, '\t', types, size);

header 数组似乎是正确的（列名称已正确读取）。

data 是一个 1 x 15000 数组（仅导入第一行而不是 10000），并且不知道是什么导致了这种行为。

我猜问题是由这一行引起的：

C_data = textscan(fid, AttributeTypes{1, 1});

但不知道可能出了什么问题，因为帮助参考中描述了类似的示例。

如果你们中有人建议解决该问题 - 如何读取所有 10000 行，我将非常感激。

Answer 1

我相信你所有的数据都在那里。如果查看 data 内部，其中的每个单元格都应包含整个列 (10000x1)。您可以使用 data{i} 将第 i 个单元格提取为数组。

您可能想要分隔双精度数据和字符串数据。我不知道什么是 attributeFormats，您可能可以使用这个数组。但您也可以使用 AttributeTypes{1, 1}。

isdouble = strfind(AttributeTypes{1, 1}(2:2:end),'f');
data_double = cell2mat(data(isdouble));

要将字符串数据合并到一个字符串元胞数组中，您可以执行以下操作：

isstring = strfind(AttributeTypes{1, 1}(2:2:end),'s');
data_string = horzcat(data{isstring});