R文本文件和文本挖掘...如何加载数据

Question

我正在使用 R 包 tm，我想做一些文本挖掘。这是一个文档，被视为一个词袋。

我不明白有关如何加载文本文件并创建必要的对象以开始使用诸如...之类的功能的文档，

stemDocument(x, language = map_IETF(Language(x)))

因此假设这是我的文档“这是 R 加载的测试”

我如何加载用于文本处理和创建对象 x 的数据？

Answer 1

就像@richiemorrisroe 一样，我发现这方面的记录很少。以下是我如何将文本与 tm 包一起使用并制作文档术语矩阵：

library(tm) #load text mining library
setwd('F:/My Documents/My texts') #sets R's working directory to near where my files are
a  <-Corpus(DirSource("/My Documents/My texts"), readerControl = list(language="lat")) #specifies the exact folder where my text file(s) is for analysis with tm.
summary(a)  #check what went in
a <- tm_map(a, removeNumbers)
a <- tm_map(a, removePunctuation)
a <- tm_map(a , stripWhitespace)
a <- tm_map(a, tolower)
a <- tm_map(a, removeWords, stopwords("english")) # this stopword file is at C:\Users\[username]\Documents\R\win-library\2.13\tm\stopwords 
a <- tm_map(a, stemDocument, language = "english")
adtm <-DocumentTermMatrix(a) 
adtm <- removeSparseTerms(adtm, 0.75)

在这种情况下，您不需要指定确切的文件名。只要它是第 3 行引用的目录中唯一的一个，tm 函数就会使用它。我这样做是因为我在第 3 行中指定文件名没有成功。

如果有人可以建议如何将文本放入 lda 包中，我将不胜感激。我根本没能解决这个问题。

Answer 2

难道不能只使用同一个库中的函数readPlain吗？或者您可以只使用更常见的 scan 功能。

mydoc.txt <-scan("./mydoc.txt", what = "character")

Answer 3

事实上，我一开始就发现这很棘手，所以这里有一个更全面的解释。

首先，您需要为文本文档设置源。我发现最简单的方法（特别是如果您计划添加更多文档）是创建一个目录源来读取所有文件。

source <- DirSource("yourdirectoryname/") #input path for documents
YourCorpus <- Corpus(source, readerControl=list(reader=readPlain)) #load in documents

然后您可以将 StemDocument 函数应用到您的 Corpus.HTH。

Answer 4

我相信您想要做的是将单个文件读入语料库，然后使其将文本文件中的不同行视为不同的观察结果。

看看这是否为您提供了您想要的内容：

text <- read.delim("this is a test for R load.txt", sep = "/t")
text_corpus <- Corpus(VectorSource(text), readerControl = list(language = "en"))

假设文件“这是 R load.txt 的测试”只有一列包含文本数据。

这里的“text_corpus”是您正在寻找的对象。

希望这有帮助。

Answer 5

这是我针对每个观察一行的文本文件的解决方案。 tm 上的最新小插图（2017 年 2 月）提供了更多详细信息。

text <- read.delim(textFileName, header=F, sep = "\n",stringsAsFactors = F)
colnames(text) <- c("MyCol")
docs <- text$MyCol
a <- VCorpus(VectorSource(docs))

Answer 6

下面假设您有一个文本文件目录，您想从中创建一个词袋。

唯一需要进行的更改是替换
path = "C:\\windows\\path\\to\\text\\files\\
与您的目录路径。

library(tidyverse)
library(tidytext)

# create a data frame listing all files to be analyzed
all_txts <- list.files(path = "C:\\windows\\path\\to\\text\\files\\",   # path can be relative or absolute
                       pattern = ".txt$",  # this pattern only selects files ending with .txt
                       full.names = TRUE)  # gives the file path as well as name

# create a data frame with one word per line
my_corpus <- map_dfr(all_txts, ~ tibble(txt = read_file(.x)) %>%   # read in each file in list
                      mutate(filename = basename(.x)) %>%   # add the file name as a new column
                      unnest_tokens(word, txt))   # split each word out as a separate row

# count the total # of rows/words in your corpus
my_corpus %>%
  summarize(number_rows = n())

# group and count by "filename" field and sort descending
my_corpus %>%
  group_by(filename) %>%
  summarize(number_rows = n()) %>%
  arrange(desc(number_rows))

# remove stop words
my_corpus2 <- my_corpus %>%
  anti_join(stop_words)

# repeat the count after stop words are removed
my_corpus2 %>%
  group_by(filename) %>%
  summarize(number_rows = n()) %>%
  arrange(desc(number_rows))