以字符串形式检索 URL 的内容

Question

由于与 Hpricot 相关的繁琐原因，我需要编写一个传递 URL 的函数，并将页面的全部内容作为单个字符串返回。

我很接近。我知道我需要使用 OpenURI，它应该看起来像这样：

require 'open-uri'
open(url) {
  # do something mysterious here to get page_string
}
puts page_string

任何人都可以建议我需要添加什么吗？

Answer 1

您可以在没有 OpenURI 的情况下执行相同的操作：

require 'net/http'
require 'uri'

def open(url)
  Net::HTTP.get(URI.parse(url))
end

page_content = open('http://www.google.com')
puts page_content

或者更简洁地说：

Net::HTTP.get(URI.parse('http://www.google.com'))

Answer 2

open 方法在产生时将资源的 IO 表示形式传递给您的块。您可以使用 IO#read 方法

open([mode [, perm]] [, options]) [{|io| ... }] 
open(path) { |io| data = io.read }

Answer 3

require 'open-uri'
open(url) do |f|
  page_string = f.read
end

另请参阅 IO 类 的文档

Answer 4

我也很困惑该使用什么来获得更好的性能和更快的结果。我对两者进行了基准测试，以使其更清楚：

require 'benchmark'
require 'net/http'
require "uri"
require 'open-uri'

url = "http://www.google.com"
Benchmark.bm do |x|
  x.report("net-http:")   { content = Net::HTTP.get_response(URI.parse(url)).body if url }
  x.report("open-uri:")   { open(url){|f| content =  f.read } if url }
end

其结果是：

              user     system      total        real
net-http:  0.000000   0.000000   0.000000 (  0.097779)
open-uri:  0.030000   0.010000   0.040000 (  0.864526)

我想说这取决于您的要求是什么以及您想要如何处理。

Answer 5

为了使代码更清晰一些，OpenURI open 方法将返回块返回的值，因此您可以将 open 的返回值分配给您的变量。例如：

xml_text = open(url) { |io| io.read }

Answer 6

从 Ruby 3.0 开始，通过 Kernel#open 调用 URI.open 已被删除，因此请直接调用 URI.open：

require 'open-uri'
page_string = URI.open(url, &:read)

Answer 7

请尝试以下方法：

require 'open-uri' 
content = URI(your_url).read

Answer 8

require 'open-uri'
open(url) {|f|  #url must specify the protocol
str = f.read()
}