Golang Table Webscraping

Question

我有下面的代码，可以从HTML表中刮擦特定的单元格值。您可以转到 https://www.haremaltin.com/altin-fiyatlari 在检查模式下“ satis__ata_eski”以查看该值。我是Golang的初学者，并尽了我最大的努力，但不幸的是我无法获得这一价值。有没有人可以帮助我？顺便说一句，他们没有社区API。还有一件事，请添加时间。睡觉等待加载页面。如果它返回“ - ”是因为没有加载页面尚未加载

package main

import (
"fmt"
"log"
"net/http"

"github.com/PuerkitoBio/goquery"
)

func main() {
   url := "https://www.haremaltin.com/altin-fiyatlari"

   resp, err := http.Get(url)
   if err != nil {
       log.Fatal(err)
   }
   defer resp.Body.Close()
   if resp.StatusCode != 200 {
       log.Fatalf("failed to fetch data: %d %s", resp.StatusCode, resp.Status)
   }

   doc, err := goquery.NewDocumentFromReader(resp.Body)
   if err != nil {
      log.Fatal(err)
   }

   doc.Find("tr__ATA_ESKI tr").Each(func(j int, tr *goquery.Selection) {
      data := []string{}
      tr.Find("td").Each(func(ix int, td *goquery.Selection) {
           e := td.Text()
           data = append(data, e)
           fmt.Println(data)
      })
   })
}

解决方案：

您可以看到下面的答案，如果您想检查 看看为什么使用这种解决方案，

我们可以使用这种解决方案。使用迭代从地图获取特定值。我也有一个代码。但是，如果您有任何更轻松的方法，请发表评论，请提供

for _, v := range data { // we need value part of the map
    m, ok := v.(map[string]interface{}) // we need the convert the map 
                                    // into interface for iteration
    if !ok {
        fmt.Printf("Error %T", v)
    }
    for k, l := range m {
        if k == "ATA_ESKI"{ // the value we want is inside of this map
            a, ok := l.(map[string]interface{}) // interface convert again
            if !ok {
                fmt.Printf("Error %T", v)
            }
            for b,c := range a{
                if b == "satis"{ // the value we want
                    fmt.Println("Price is", c)
                }
            }
        }
    }
}

以下迭代的完整解决方案：

package main

import (
    "encoding/json"
    "fmt"
    "io/ioutil"
    "net/http"
    "strings"
)

func main() {
    fecthData()
}

func fecthData() (map[string]interface{}, error) {
    body := strings.NewReader("dil_kodu=tr")
    req, err := http.NewRequest("POST", 
"https://www.haremaltin.com/dashboard/ajax/doviz", body)
    if err != nil {
        // handle err
        return nil, err
    }
    req.Header.Set("X-Requested-With", "XMLHttpRequest")

    resp, err := http.DefaultClient.Do(req)
    if err != nil {
        // handle err
        return nil, err
    }
    defer resp.Body.Close()
    jsonData, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        panic(err)
        return nil, err
    }

    var data map[string]interface{}
    err = json.Unmarshal(jsonData, &data)
    if err != nil {
        return nil, err
    }

    for _, v := range data {
        m, ok := v.(map[string]interface{})
        if !ok {
            fmt.Printf("Error %T", v)
        }
        for k, l := range m {
            if k == "ATA_ESKI" {
                a, ok := l.(map[string]interface{})
                if !ok {
                    fmt.Printf("Error %T", v)
                }
                for b, c := range a {
                    if b == "satis" {
                        fmt.Println("Price", c)
                    }
                }
            }
        }
    }

    return data, nil
}

Answer 1

您可以通过HTTP POST请求获取。不要忘记添加带有标头的X征用标题。

func fecthData() (map[string]interface{}, error) {
    body := strings.NewReader("dil_kodu=tr")
    req, err := http.NewRequest("POST", "https://www.haremaltin.com/dashboard/ajax/doviz", body)
    if err != nil {
        // handle err
        return nil, err
    }
    req.Header.Set("X-Requested-With", "XMLHttpRequest")

    resp, err := http.DefaultClient.Do(req)
    if err != nil {
        // handle err
        return nil, err
    }
    defer resp.Body.Close()
    jsonData, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        panic(err)
        return nil, err
    }
    var data map[string]interface{}
    err = json.Unmarshal(jsonData, &data)
    if err != nil {
        return nil, err
    }
    return data, nil
}

Answer 2

由于该表由JavaScript提供动力，因此我建议您使用其他方法。这就是原因。

您真正抓取的是

curl https://www.haremaltin.com/altin-fiyatlari > out.html

此网页。您可以在终端中运行此卷发，并获得与GO的REST请求完全相同的答复（确切地说是一个很强的词，大多数时候，在这种情况

下，您可以看到该OUT中没有值。 HTML您创建的文件这就是为什么您的GO脚本没有返回任何值的原因。

您需要运行JavaScript才能填充页面，因此您可以刮擦它。

我已经使用过此 https://github.com/chromedp/chromedp/chromedp 成功。通过使用此工具，您的工作流程看起来像是..

1. 打开无头浏览器
2. 转到URL
3. 转储页面html
4. Parse with Goquery
5. 打印您的响应