goquery是不是只支持英文，另，go语言的中文乱码如何解决

Question

使用goquery来对网页爬虫的时候发现它对于很多中文网站都无法解析（试过 豆瓣，知乎），有的可以解析但打出来是诸如“
α?ȥ???Ŵ?????ʫ?ʷ?չ?ִ?????”的东西（对百度新闻解析），所以请问使用过goquery的大大们，确实是这样的吗？还是我代码写错了的原因？另，go语言的中文乱码问题要如何解决？

Answer 1

你得自已去处理流并进行utf8与gb18030之间的转换

Answer 2

刚试了下osc没有乱码，乱码应该是网站不是utf-8引起的。

代码如下：

package main

import (
	"fmt"

	"github.com/PuerkitoBio/goquery"
)

func Scrape() {
	doc, err := goquery.NewDocument("http://www.oschina.net")
	if err != nil {
		fmt.Println(err)
		return
	}

	doc.Find(".p1 .today").Each(func(i int, s *goquery.Selection) {
		band := s.Find("span").Text()
		title := s.Find("a").Text()
		fmt.Printf("Review %d: %s - %sn", i, band, title)
	})
}

func main() {
	Scrape()
}

如果有乱码，使用iconv-go转码就可以了。