• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    迪恩网络公众号

Go语言爬虫2-编码转换

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

Go 语言官方没有提供处理 utf8、unicode 之外字符编码的包。这样转换就需要用第三方包,候选包:

https://github.com/xushiwei/go-iconv

https://github.com/djimenez/iconv-go

https://github.com/sloonz/go-iconv

例子:

下面源网页是国家地震局的一周内地震统计,编码是gb2312,这里需要把它编码成 utf-8 格式。

http://wendal.net/2013/0115.html

package main
 
import(
    iconv "github.com/djimenez/iconv-go"
    "io/ioutil"
    "log"
    "net/http"
)
 
func main(){
    log.SetFlags(log.LstdFlags|log.Lshortfile)
    resp,err:=http.Get("http://data.earthquake.cn/datashare/globeEarthquake_csn.html")
    if err!=nil{
        log.Fatal(err)
    }
 
    defer resp.Body.Close()
    input,err:=ioutil.ReadAll(resp.Body)
    out:=make([]byte,len(input))
    out=out[:]
    iconv.Convert(input,out,"gb2312","utf-8")
    ioutil.WriteFile("globeEarthquake_csn.html",out,0644)
}

 

参考资料:

Golang下进行字符集转换
http://wendal.net/2013/0115.html


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap