RCurl 无法检索网站的完整源文本 - 链接丢失？

Question

我想使用 RCurl 作为礼貌的网络爬虫从网站下载数据。 显然我需要科学研究的数据。尽管我有权通过我的大学访问该网站的内容，但该网站的使用条款禁止使用网络爬虫。

我试图直接向网站管理员询问数据，但他们只以非常模糊的方式回复。无论如何，他们似乎不会简单地将底层数据库发送给我。

我现在想做的是要求他们正式获得一次性许可，使用基于 RCurl 的 R 代码从其网站下载特定的纯文本内容，其中包括在执行每个请求后延迟三秒。

我想从工作中下载数据的网站地址如下： http://plants.jstor.org/specimen/站点 ID

我尝试用 RCurl 对其进行编程，但无法完成。 有几件事使事情变得复杂：

1. 只有在允许 cookie 的情况下才能访问该网站（我在 RCurl 中使用 cookiefile-argument 实现了这一点）。

2. 只有当人们通过单击普通浏览器中的不同链接实际访问该站点时，下一步按钮才会出现在源代码中。 在源代码中，“下一步”按钮使用包含

   的表达式进行编码 <上一页><代码>下一页> >

   当尝试直接访问该网站（之前没有在同一浏览器中单击过该网站）时，它将无法工作，带有链接的行根本不在源代码中。

3. 站点的 ID 是字母和数字的组合（例如“goe0003746”或“cord00002203”），因此我不能简单地在 R 中编写一个 for 循环来尝试其中的每个数字1 到 1,000,000。

因此，我的程序应该模仿一个通过“下一步”按钮单击所有站点的人，每次都保存文本内容。

每次保存网站内容后，都应该等待三秒钟，然后再单击“下一步”按钮（它必须是礼貌的爬虫）。我在 R 中也使用 Sys.sleep 函数实现了这一点。

我也想过使用自动化程序，但这样的程序似乎有很多，我不知道该使用哪一个。

我也不是一个真正的程序编写者（除了一点点 R 之外），所以我真的很感激一个不包含 Python、C++、PHP 等编程的解决方案。

任何想法将不胜感激！预先非常感谢您的意见和建议！

Answer 1

尝试不同的策略。

 ##########################
 ####
 ####            Scrape http://plants.jstor.org/specimen/
 ####        Idea:: Gather links from http://plants.jstor.org/search?t=2076
 ####            Then follow links:
 ####
 #########################

 library(RCurl)
 library(XML)

 ### get search page::

 cookie = 'cookiefile.txt'
 curl  =  getCurlHandle ( cookiefile = cookie , 
     useragent =  "Mozilla/5.0 (Windows; U; Windows NT 5.1; en - US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6",
     header = F,
     verbose = TRUE,
     netrc = TRUE,
     maxredirs = as.integer(20),
     followlocation = TRUE)

 querry.jstor <- getURL('http://plants.jstor.org/search?t=2076', curl = curl)

 ## remove white spaces:
 querry.jstor2 <- gsub('\r','', gsub('\t','', gsub('\n','', querry.jstor)))

 ### get links from search page
  getLinks = function() {
        links = character()
        list(a = function(node, ...) {
                    links <<- c(links, xmlGetAttr(node, "href"))
                    node
                 },
             links = function()links)
      }

 ## retrieve links
  querry.jstor.xml.parsed <- htmlTreeParse(querry.jstor2, useInt=T, handlers = h1)

 ## cleanup links to keep only the one we want. 
  querry.jstor.links = NULL
  querry.jstor.links <- c(querry.jstor.links, querry.jstor.xml.parsed$links()[-grep('http', querry.jstor.xml.parsed$links())]) ## remove all links starting with http
  querry.jstor.links <- querry.jstor.links[-grep('search', querry.jstor.links)] ## remove all search links
  querry.jstor.links <- querry.jstor.links[-grep('#', querry.jstor.links)] ## remove all # links
  querry.jstor.links <- querry.jstor.links[-grep('javascript', querry.jstor.links)] ## remove all javascript links
  querry.jstor.links <- querry.jstor.links[-grep('action', querry.jstor.links)] ## remove all action links
  querry.jstor.links <- querry.jstor.links[-grep('page', querry.jstor.links)] ## remove all page links

 ## number of results
  jstor.article <- getNodeSet(htmlTreeParse(querry.jstor2, useInt=T), "//article")
  NumOfRes <- strsplit(gsub(',', '', gsub(' ', '' ,xmlValue(jstor.article[[1]][[1]]))), split='')[[1]]
  NumOfRes <- as.numeric(paste(NumOfRes[1:min(grep('R', NumOfRes))-1], collapse = ''))

  for(i in 2:ceiling(NumOfRes/20)){
    querry.jstor <- getURL('http://plants.jstor.org/search?t=2076&p=',i, curl = curl)
    ## remove white spaces:
    querry.jstor2 <- gsub('\r','', gsub('\t','', gsub('\n','', querry.jstor)))
    querry.jstor.xml.parsed <- htmlTreeParse(querry.jstor2, useInt=T, handlers = h1)
    querry.jstor.links <- c(querry.jstor.links, querry.jstor.xml.parsed$links()[-grep('http', querry.jstor.xml.parsed$links())]) ## remove all links starting with http
    querry.jstor.links <- querry.jstor.links[-grep('search', querry.jstor.links)] ## remove all search links
    querry.jstor.links <- querry.jstor.links[-grep('#', querry.jstor.links)] ## remove all # links
    querry.jstor.links <- querry.jstor.links[-grep('javascript', querry.jstor.links)] ## remove all javascript links
    querry.jstor.links <- querry.jstor.links[-grep('action', querry.jstor.links)] ## remove all action links
    querry.jstor.links <- querry.jstor.links[-grep('page', querry.jstor.links)] ## remove all page links

    Sys.sleep(abs(rnorm(1, mean=3.0, sd=0.5))) 
  }

  ## make directory for saving data: 
  dir.create('./jstorQuery/')

  ## Now we have all the links, so we can retrieve all the info
  for(j in 1:length(querry.jstor.links)){
    if(nchar(querry.jstor.links[j]) != 1){
       querry.jstor <- getURL('http://plants.jstor.org',querry.jstor.links[j], curl = curl)
       ## remove white spaces:
       querry.jstor2 <- gsub('\r','', gsub('\t','', gsub('\n','', querry.jstor)))

       ## contruct name:
       filename = querry.jstor.links[j][grep( '/', querry.jstor.links[j])+1 : nchar( querry.jstor.links[j])]

       ## save in directory: 
       write(querry.jstor2, file = paste('./jstorQuery/', filename, '.html', sep = '' ))

       Sys.sleep(abs(rnorm(1, mean=3.0, sd=0.5))) 
    }
  }

Answer 2

我可能完全错过了你所挂断的部分，但听起来你已经快到了。

看来您可以在启用 cookie 的情况下请求第 1 页。然后解析搜索下一个站点 ID 的内容，然后通过使用下一个站点 ID 构建 URL 来请求该页面。然后抓取你想要的任何数据。

听起来您的代码几乎可以完成所有这些工作。问题是解析第 1 页以获取下一步的 ID 吗？如果是这样，您应该制定一个可重现的示例，我怀疑您会很快得到语法问题的答案。

如果您无法查看该网站正在执行的操作，我建议使用 Tamper Data 插件。它可以让您看到每次鼠标单击时发出的请求。我发现它对于此类事情非常有用。