用go-colly解析HTML并返回一个空切片

Question

我正在用Colly框架来解析网站，并且正在发生一些错误。我有一个非常基本的函数 getWeeks（）抓住并返回某些东西，但我得到了一个空的切片。

func getWeeks(c *colly.Collector) []string {
    var wks []string
    c.OnHTML("div.ltbluediv", func(div *colly.HTMLElement) {
        weekName := div.DOM.Find("span").Text()  // a string Week 1, Week 2 etc 
        wks = append(wks, weekName)  // weekName has actual value is not empty
        // If `wks` printed here it shows correctly how the slice gets populated on each iteration
    })
    return wks  // returns []
}

func main() {
    c := colly.NewCollector(
    )

    w := getWeeks(c)
    fmt.Println(w)  // []

    c.OnRequest(func(r *colly.Request) {
        r.Headers.Set("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64)")
    })

    c.Visit("target url")

}

Answer 1

tl; dr ：在 onhtml 回调的内部更新了slice标头，但是您在 main 中打印的值是旧的slice标头。您应该使用*[] String 而使用。

---

首先，您传递给 c.Onhtml 的回调仅在您调用 c.visit 之后才能运行代码> getweeks 在任何情况下都会显示一个空切片。

但是，即使在 c.visit 之后，它也将是一个空的切片，为什么？

GO中的切片被用作数据结构 - 称为slice标头（更多信息： 1 < /a>， 2 ）。

当您分配 getWeeks 的返回值时，您实际上是在复制slice标题，包括其字段 data ， len 和 cap cap 。您可以在动词（使用一些其他结构而不是go-colly来使示例自独立）：

func getWeeks(c *Foo) []string {
    var wks []string
    c.OnHTML("div.ltbluediv", func(text string) {
        weekName := text
        wks = append(wks, weekName)
    })
    fmt.Printf("%p\n", &wks)
    return wks
}

func main() {
    c := &Foo{}

    w := getWeeks(c)

    c.Visit("target url")
    fmt.Printf("%p\n", &w)

}

打印两个不同的内存地址：

0xc0000ac030
0xc0000ac018

现在，如果您继续在堆栈上四处钓鱼，围绕切片和 append 行为，您可能会发现，如果切片具有足够的容量（ 1 ， 2 ， 3 ）备用阵列未重新分配。

但是，即使您确实以足够的容量来初始化 wks 来确保备份阵列相同， w 的值仍然是原始Slice标题的副本，因此强>具有0长度。这在

in getWeeks reflect.SliceHeader{Data:0xc0000121b0, Len:0, Cap:3}
in callback reflect.SliceHeader{Data:0xc0000121b0, Len:1, Cap:3}
in callback reflect.SliceHeader{Data:0xc0000121b0, Len:2, Cap:3}
in callback reflect.SliceHeader{Data:0xc0000121b0, Len:3, Cap:3}
[]
in main reflect.SliceHeader{Data:0xc0000121b0, Len:0, Cap:3}

中通过重新定义（ playground ）：

c.Visit("target url")
w = w[0:3]
fmt.Println(w) // [foo bar baz]

这意味着您需要事先事先知道合理的容量不会导致重新分配，最终长度可以重新分配。

取而代之的是，将指针返回切片：

func getWeeks(c *colly.Collector) *[]string {
    wks := &[]string{}
    c.OnHTML("div.ltbluediv", func(div *colly.HTMLElement) {
        weekName := div.DOM.Find("span").Text()
        *wks = append(*wks, weekName) 
    })
    return wks
}

或将指针传递到 getweeks ：

func getWeeks(c *colly.Collector, wks *[]string) {
    c.OnHTML("div.ltbluediv", func(div *colly.HTMLElement) {
        weekName := div.DOM.Find("span").Text()
        *wks = append(*wks, weekName)
    })
}

固定游乐场： https://go.dev/play/p/yhq8yynkfsv