用于自然语言处理的 ARFF

Question

我正在尝试获取一组评论，并将它们转换为 ARFF 格式以便与 WEKA 一起使用。不幸的是，要么我完全误解了格式的工作原理，要么我必须为所有可能的单词提供一个属性，然后是一个存在指示符。有谁知道更好的方法，或者最好有一个示例 ARFF 文件？

Answer 1

如果您将评论存储在纯文本文件和不同的文件夹中（在您的情况下是正面和负面的），则可以使用 TextDirectoryLoader。

您可以在 Weka 的 KnowledgeFlow 应用程序中或通过命令行找到它。更多信息请参见：http://weka.wikispaces.com/ARFF+files+from +文本+集合

Answer 2

花了一段时间才解决，但是使用这个 input.arff:

@relation text_files

@attribute review string
@attribute sentiment {0, 1}

@data
"this is some text", 1
"this is some more text", 1
"different stuff", 0

和这个命令：

java -classpath "C:\\Program Files\\Weka-3-6\\weka.jar" weka.filters.unsupervised.attribute.StringToWordVector -i input.arff -o output.arff

生成以下内容：

@relation 'text_files-weka.filters.unsupervised.attribute.StringToWordVector-R1-W1000-prune-rate-1.0-N0-stemmerweka.core.stemmers.NullStemmer-M1-tokenizerweka.core.tokenizers.WordTokenizer -delimiters \" \\r\\n\\t.,;:\\\'\\\"()?!\"'

@attribute sentiment {0,1}
@attribute different numeric
@attribute is numeric
@attribute more numeric
@attribute some numeric
@attribute stuff numeric
@attribute text numeric
@attribute this numeric

@data

{0 1,2 1,4 1,6 1,7 1}
{0 1,2 1,3 1,4 1,6 1,7 1}
{1 1,5 1}