在 Go 中解组 ISO-8859-1 XML 输入

Question

当您的 XML 输入未采用 UTF-8 编码时，xml 包的 Unmarshal 函数似乎需要 CharsetReader。

你在哪里可以找到这样的东西？

Answer 1

更新了 2015 年和 2015 年的答案超越：

import (
    "encoding/xml"
    "golang.org/x/net/html/charset"
)
reader := bytes.NewReader(theXml)
decoder := xml.NewDecoder(reader)
decoder.CharsetReader = charset.NewReaderLabel
err = decoder.Decode(&parsed)

Answer 2

扩展@anschel-schaffer-cohen的建议和@mjibson的评论，
使用上面提到的 go-charset 包，您可以使用这三行

decoder := xml.NewDecoder(reader)
decoder.CharsetReader = charset.NewReader
err = decoder.Decode(&parsed)

来实现所需的结果。 调用，让 charset 知道其数据文件的位置

charset.CharsetDir = ".../src/code.google.com/p/go-charset/datafiles"

只需记住在应用程序启动时的某个时刻

。 编辑

而不是上面的，charset.CharsetDir =等，只导入数据文件更明智。它们被视为嵌入式资源：

import (
    "code.google.com/p/go-charset/charset"
    _ "code.google.com/p/go-charset/data"
    ...
)

go install 只会做它的事情，这也避免了部署的麻烦（在哪里/如何获取与执行应用程序相关的数据文件？）。

使用带有下划线的 import 只是调用包的 init() 函数，该函数将所需的内容加载到内存中。

Answer 3

下面是一个示例 Go 程序，它使用 CharsetReader 函数将 XML 输入从 ISO-8859-1 转换为 UTF-8。该程序打印测试文件 XML 注释。

package main

import (
    "bytes"
    "fmt"
    "io"
    "os"
    "strings"
    "utf8"
    "xml"
)

type CharsetISO88591er struct {
    r   io.ByteReader
    buf *bytes.Buffer
}

func NewCharsetISO88591(r io.Reader) *CharsetISO88591er {
    buf := bytes.NewBuffer(make([]byte, 0, utf8.UTFMax))
    return &CharsetISO88591er{r.(io.ByteReader), buf}
}

func (cs *CharsetISO88591er) ReadByte() (b byte, err os.Error) {
    // http://unicode.org/Public/MAPPINGS/ISO8859/8859-1.TXT
    // Date: 1999 July 27; Last modified: 27-Feb-2001 05:08
    if cs.buf.Len() <= 0 {
        r, err := cs.r.ReadByte()
        if err != nil {
            return 0, err
        }
        if r < utf8.RuneSelf {
            return r, nil
        }
        cs.buf.WriteRune(int(r))
    }
    return cs.buf.ReadByte()
}

func (cs *CharsetISO88591er) Read(p []byte) (int, os.Error) {
    // Use ReadByte method.
    return 0, os.EINVAL
}

func isCharset(charset string, names []string) bool {
    charset = strings.ToLower(charset)
    for _, n := range names {
        if charset == strings.ToLower(n) {
            return true
        }
    }
    return false
}

func IsCharsetISO88591(charset string) bool {
    // http://www.iana.org/assignments/character-sets
    // (last updated 2010-11-04)
    names := []string{
        // Name
        "ISO_8859-1:1987",
        // Alias (preferred MIME name)
        "ISO-8859-1",
        // Aliases
        "iso-ir-100",
        "ISO_8859-1",
        "latin1",
        "l1",
        "IBM819",
        "CP819",
        "csISOLatin1",
    }
    return isCharset(charset, names)
}

func IsCharsetUTF8(charset string) bool {
    names := []string{
        "UTF-8",
        // Default
        "",
    }
    return isCharset(charset, names)
}

func CharsetReader(charset string, input io.Reader) (io.Reader, os.Error) {
    switch {
    case IsCharsetUTF8(charset):
        return input, nil
    case IsCharsetISO88591(charset):
        return NewCharsetISO88591(input), nil
    }
    return nil, os.NewError("CharsetReader: unexpected charset: " + charset)
}

func main() {
    // Print the XML comments from the test file, which should
    // contain most of the printable ISO-8859-1 characters.
    r, err := os.Open("ISO88591.xml")
    if err != nil {
        fmt.Println(err)
        return
    }
    defer r.Close()
    fmt.Println("file:", r.Name())
    p := xml.NewParser(r)
    p.CharsetReader = CharsetReader
    for t, err := p.Token(); t != nil && err == nil; t, err = p.Token() {
        switch t := t.(type) {
        case xml.ProcInst:
            fmt.Println(t.Target, string(t.Inst))
        case xml.Comment:
            fmt.Println(string([]byte(t)))
        }
    }
}

使用 encoding="ISO-8859-1" 将 XML 从 io.Reader r 解组为结构 结果，在使用程序中的 CharsetReader 函数从 ISO-8859-1 转换为 UTF-8 时，写入：

p := xml.NewParser(r)
p.CharsetReader = CharsetReader
err := p.Unmarshal(&result, nil)

Answer 4

似乎有一个外部库可以处理此问题：go-charset< /a>.我自己没试过；它对你有用吗？

Answer 5

编辑：不要使用这个，使用 go-charset 答案。

这是 @peterSO 代码的更新版本，适用于 go1：

package main

import (
    "bytes"
    "io"
    "strings"
)

type CharsetISO88591er struct {
    r   io.ByteReader
    buf *bytes.Buffer
}

func NewCharsetISO88591(r io.Reader) *CharsetISO88591er {
    buf := bytes.Buffer{}
    return &CharsetISO88591er{r.(io.ByteReader), &buf}
}

func (cs *CharsetISO88591er) Read(p []byte) (n int, err error) {
    for _ = range p {
        if r, err := cs.r.ReadByte(); err != nil {
            break
        } else {
            cs.buf.WriteRune(rune(r))
        }
    }
    return cs.buf.Read(p)
}

func isCharset(charset string, names []string) bool {
    charset = strings.ToLower(charset)
    for _, n := range names {
        if charset == strings.ToLower(n) {
            return true
        }
    }
    return false
}

func IsCharsetISO88591(charset string) bool {
    // http://www.iana.org/assignments/character-sets
    // (last updated 2010-11-04)
    names := []string{
        // Name
        "ISO_8859-1:1987",
        // Alias (preferred MIME name)
        "ISO-8859-1",
        // Aliases
        "iso-ir-100",
        "ISO_8859-1",
        "latin1",
        "l1",
        "IBM819",
        "CP819",
        "csISOLatin1",
    }
    return isCharset(charset, names)
}

func CharsetReader(charset string, input io.Reader) (io.Reader, error) {
    if IsCharsetISO88591(charset) {
        return NewCharsetISO88591(input), nil
    }
    return input, nil
}

调用方式：

d := xml.NewDecoder(reader)
d.CharsetReader = CharsetReader
err := d.Decode(&dst)

Answer 6

目前 go 发行版中或我能找到的其他任何地方都没有提供任何内容。这并不奇怪，因为该钩子不到一个月 在撰写本文时。

由于 CharsetReader 被定义为 CharsetReader func(charset string, input io.Reader) (io.Reader, os.Error)，因此您可以创建自己的。
测试中有一个示例，但这可能不是对你来说绝对有用。

Answer 7

接受的答案对我不起作用（可能是因为我收到的 XML 没有设置应有的 encoding="ISO-8859-1" 字段）。

因此，我找到了一个仅从 ISO 格式转换为 UTF-8 的库，我的代码最终看起来像这样：

import "golang.org/x/text/encoding/charmap"

// ...

func someFunc(r io.Reader) (MyDTO, err) {
    decoder := xml.NewDecoder(charmap.ISO8859_1.NewDecoder().Reader(f))
    var myDTO MyDTO
    err := decoder.Decode(&myDTO)
    return myDTO, err
}