Web用R刮擦动态网页

Question

我的目标是从此站点获取数据： https://www.insee.fr/fr/recherche?q= emploi-population+active+active+en +2018＆amp; amp;taille=20＆amp; amp; debut=0 ，尤其是尤其。
我知道获得功能不起作用，因为它是动态的，需要通过JavaScript进行处理（相同的是 Web刮擦动态网页python ）。因此，我通过浏览器的检查器模式获取信息，并找到了带有URL的帖子查询。

这是一个可生殖的示例：

library(httr)

body <- list(q="Emploi-Population%20active%20en%202018",
             start="0",
             sortFields=data.frame(field="score",order="desc"),
             filters=data.frame(NULL),
             rows="50",
             facetsQuery=data.frame(NULL))

TMP   <- httr::POST(url = "http://www.insee.fr/fr/solr/consultation?q=Emploi-Population%20active%20en%202018",
              body = body,
              config = config(http_version=1.1),
              encode = "json",verbose())

请注意，AI必须放置HTTP而不是HTTP，因为我什么也没得到（我什么也没得到（我的代理已正确配置，Rstudio可以连接到Internet）。
我得到的只是一个不错的500错误。对我想念什么的想法吗？

Answer 1

您可以更改 Q 参数并将其从URL中删除。我将使用HTTPS并删除您的配置行，以避免卷发提取错误。但是，下面适合返回100个结果，仍然有效。

library(httr)

body <- list(
  q = "Emploi-Population active en 2018",
  start = "0",
  sortFields = data.frame(field = "score", order = "desc"),
  rows = "100"
)

TMP <- httr::POST(
  url = "http://www.insee.fr/fr/solr/consultation",
  body = body,
  config = config(http_version = 1.1),
  encode = "json", verbose()
)

data <- fromJSON(content(TMP, type = "text"))

print(data$documents$titre)

Answer 2

我发现将JSON作为字符串运行正常：

library(httr)

json <- paste0('{"q":"Emploi-Population active en 2018 ",',
            '"start":"0","sortFields":[{"field":"score","order":"desc"}],',
            '"filters":[],"rows":"20","facetsQuery":[]}')

url <- paste0('https://www.insee.fr/fr/solr/consultation?q=Emploi-Population',
               '%20active%20en%202018%20')

res <- POST(url, body = json, content_type_json())
output <- content(res)

现在输出是一个巨大的列表，例如，

sapply(output$documents, function(x) x$titre)
#>  [1] "Emploi-Population active en 2018"                                                                          
#>  [2] "Emploi – Population active"                                                                                
#>  [3] "Dossier complet"                                                                                           
#>  [4] "Base du dossier complet"                                                                                   
#>  [5] "Emploi-Population active en 2017"                                                                          
#>  [6] "Comparateur de territoire"                                                                                 
#>  [7] "Emploi – Population active"                                                                                
#>  [8] "L'essentiel sur... les entreprises"                                                                        
#>  [9] "Emploi - population active en 2014"                                                                        
#> [10] "Population active"                                                                                         
#> [11] "Emploi salarié et non salarié par activité"                                                                
#> [12] "Évolution de l'emploi"                                                                                     
#> [13] "Logements, individus, activité, mobilités scolaires et professionnelles, migrations résidentielles en 2018"
#> [14] "Emploi selon le sexe et l’âge"                                                                             
#> [15] "Statut d’emploi et type de contrat selon le sexe et l’âge"                                                 
#> [16] "Sous-emploi selon le sexe et l’âge"                                                                        
#> [17] "Emploi salarié par secteur"                                                                                
#> [18] "Fiche - Chômage"                                                                                           
#> [19] "Emploi-Activité en 2018"                                                                                   
#> [20] "Activité professionnelle des individus : lieu de travail localisé à la zone d'emploi en 2017"

在2022-05-31创建的文档标题： reprex package （v2.0.1）