如何使用 R 从 Neurosynth 中抓取表格？

Question

我正在尝试从 Neurosynth 中抓取一些表格数据来处理 fmri 数据。 https://www.neurosynth.org/locations/2_2_2_6/（它不现在关心什么数据。我只想能够从位置页面的关联部分的表格中获取数据）

地使用以下代码抓取了一个简单的维基百科页面：

          url = 
"https://en.wikipedia.org/wiki/List_of_countries_and_dependencies_by_population"
          read_html(url) %>%
            html_element("table") %>%
            html_table() %>%
           

我已经成功 绝对没问题。我用我的神经合成器数据尝试同样的事情，即：

             neurosynth_link = "https://www.neurosynth.org/locations/2_2_2_6/"
             read_html(neurosynth) %>%
               html_element("table") %>%
               html_table() 

我得到：

# A tibble: 0 × 4 
# … with 4 variables: Title <lgl>, Authors <lgl>, Journal <lgl>, Activations 
<lgl>

不起作用。

我玩了一下，并设法使用以下代码获得了我想要的表格标题（z 分数、后验概率等）：

neurosynth_link = "https://www.neurosynth.org/locations/2_2_2_6/"
neurosynth_page = read_html(neurosynth)
neuro_synth_table = neurosynth_page %>% html_nodes("table#location_analyses_table")  
 %>%
 html_table() 
neuro_synth_table

[[1]]
# A tibble: 1 × 5
 ``    `Individual voxel` `Individual voxel` `Seed-based network` `Seed-based 
network`    
<chr> <chr>              <chr>              <chr>                <chr>                   
 1 Name  z-score            Posterior prob.    Func. conn. (r)      Meta-analytic 
coact. (r)

但这是我所能得到的。这是怎么回事？

Answer 1

您想要的表格是由 javascript 生成的，因此实际上并不存在于您尝试抓取的静态 html 中。 JavaScript 下载一个单独的 json 文件，其中包含表格每个页面的所有数据。

这实际上是个好消息 - 这意味着您可以一次性获取您尝试抓取的所有 134 页数据的条目。我们可以在浏览器的开发者选项卡中找到 json 文件的 url 并使用它。经过一些争论，我们在一个数据框中获得了所有数据。这是完整的表示：

library(httr)

url    <- "https://www.neurosynth.org/api/locations/2_2_2_6/compare?_=1645644227258"
result <- content(GET(url), "parsed")$data
names  <- c("Name", "z_score", "post_prob", "func_con", "meta_analytic")
df     <- do.call(rbind, lapply(result, function(x) setNames(as.data.frame(x), names)))
df$z_score <- as.numeric(df$z_score)
#> Warning: NAs introduced by coercion
df <- df[order(-df$z_score), ]

现在我们将数据放在一个漂亮的数据框中：

head(df)
#>         Name z_score post_prob func_con meta_analytic
#> 760       mm    8.78      0.86     0.15          0.52
#> 509    gamma    8.10      0.85     0.19          0.63
#> 1135 sources    6.46      0.77     0.10          0.32
#> 825    noise    5.33      0.73     0.00          0.08
#> 671  lesions    4.66      0.72    -0.01          0.00
#> 1137 spatial    4.57      0.63    -0.15          0.00

并且我们拥有所有数据：

nrow(df)
#> [1] 1334

^{创建于 2022 年 2 月 23 日，由 reprex 包 (v2.0.1)}