Go语言中json序列化优化技巧_Golang

在 go 语言开发中，json（javascript object notation）因其简洁和广泛的兼容性，通常被用作数据交换的主要序列化格式。然而，当你深入使用 json 时，可能会发现它并不总是最佳选择。

本文将探讨 json 序列化的一些局限性，也算是一个小坑吧。并给出一些常用的解决方案。

json 序列化的潜在问题

我们先来看一个使用 json 进行序列化和反序列化的示例：

package json_demo

import (
	"encoding/json"
	"fmt"
)

func jsonendedemo() {
	d1 := make(map[string]interface{})
	d2 := make(map[string]interface{})

	var (
		age    int     = 18
		name   string  = "alex"
		height float32 = 1.75
	)

	d1["name"] = name
	d1["age"] = age
	d1["height"] = height

	ret, err := json.marshal(d1)
	if err != nil {
		fmt.printf("json.marshal failed: %v\n", err)
		return
	}
	// json.marshal: {"age":18,"height":1.75,"name":"alex"}
	fmt.printf("json.marshal: %s\n", string(ret))

	err = json.unmarshal(ret, &d2)
	if err != nil {
		fmt.printf("json.unmarshal failed: %v\n", err)
		return
	}
	// json.unmarshal: map[age:18 height:1.75 name:alex]
	fmt.printf("json.unmarshal: %v\n", d2)

	// 这里我们可以发现一个问题：go 语言中的 json 包在序列化 interface{} 类型时，会将数字类型（整型、浮点型等）都序列化为 float64 类型
	for k, v := range d2 {
		// key: age, value: 18, type:float64
		// key: height, value: 1.75, type:float64
		// key: name, value: alex, type:string
		fmt.printf("key: %s, value: %v, type:%t \n", k, v, v)
	}
}

这段代码展示了如何将一个包含 name、age 和 height 的 go map 数据结构序列化为 json 字符串，然后再反序列化回来。看似一切正常，但请注意反序列化后的数据类型变化。

运行代码后的输出可能会让你感到意外：

json.marshal: {"age":18,"height":1.75,"name":"alex"}
json.unmarshal: map[age:18 height:1.75 name:alex]
key: age, value: 18, type:float64 
key: height, value: 1.75, type:float64 
key: name, value: alex, type:string

问题：我们发现，尽管原始数据中 age 是 int 类型，height 是 float32 类型，但经过 json 反序列化后，它们全都变成了 float64 类型。

go 语言中的 encoding/json 包会将所有数字类型（包括整型、浮点型等）都转换为 float64 ，那么，有没有方式可以不让类型丢失呢？还真有！

gob 二进制协议，高效且保留类型的 go 专用序列化

为了避免 json 的这一局限性，我们可以使用 go 语言特有的 gob 序列化方式。gob 不仅可以高效地序列化数据，还能够保留原始数据类型。

以下是使用 gob 进行序列化和反序列化的示例：

package json_demo

import (
	"bytes"
	"encoding/gob"
	"fmt"
)

func gobendedemo() {
	d1 := make(map[string]interface{})
	d2 := make(map[string]interface{})

	var (
		age    int     = 18
		name   string  = "alex"
		height float32 = 1.75
	)

	d1["name"] = name
	d1["age"] = age
	d1["height"] = height

	// encode
	buf := new(bytes.buffer)
	enc := gob.newencoder(buf)
	err := enc.encode(d1)
	if err != nil {
		fmt.printf("gob.encode failed: %v\n", err)
		return
	}
	b := buf.bytes()
	// gob.encode:  [13 127 4 1 2 255 128 0 1 12 1 16 0 0 57 255 128 0 3 4 110 97 109 101 6 115 116 114 105 110 103 12 6 0 4 65 108 101 120 3 97 103 101 3 105 110 116 4 2 0 36 6 104 101 105 103 104 116 7 102 108 111 97 116 51 50 8 4 0 254 252 63]
	fmt.println("gob.encode: ", b)

	// decode
	dec := gob.newdecoder(bytes.newbuffer(b))
	err = dec.decode(&d2)
	if err != nil {
		fmt.printf("gob.decode failed: %v\n", err)
		return
	}
	// gob.decode: map[age:18 height:1.75 name:alex]
	fmt.printf("gob.decode: %v\n", d2)

	for k, v := range d2 {
		// key: name, value: alex, type:string
		// key: age, value: 18, type:int
		// key: height, value: 1.75, type:float32
		fmt.printf("key: %s, value: %v, type:%t \n", k, v, v)
	}
}

从上面的代码中可以看到，gob 序列化不仅保留了 age 的 int 类型和 height 的 float32 类型，还能高效地进行数据编码。这使得 gob 成为在 go 程序内部传递数据的理想选择。

第三方包 msgpack

msgpack 是一种高效的二进制序列化格式，它允许你在多种语言(如json)之间交换数据。但它更快更小。

首先需要先下载这个包

go get -v github.com/vmihailenco/msgpack/v5

来看一个使用 msgpack 的示例：

package json_demo

import (
	"fmt"
	"github.com/vmihailenco/msgpack/v5"
)

func msgpackendedemo() {
	// msgpack 序列化示例
	d1 := make(map[string]interface{})
	d2 := make(map[string]interface{})

	var (
		age    int     = 18
		name   string  = "alex"
		height float32 = 1.75
	)

	d1["name"] = name
	d1["age"] = age
	d1["height"] = height

	// encode
	b, err := msgpack.marshal(d1)
	if err != nil {
		fmt.printf("msgpack.marshal failed: %v\n", err)
		return
	}
	// msgpack.marshal:  [131 164 110 97 109 101 164 65 108 101 120 163 97 103 101 18 166 104 101 105 103 104 116 202 63 224 0 0]
	fmt.println("msgpack.marshal: ", b)

	// decode
	err = msgpack.unmarshal(b, &d2)
	if err != nil {
		fmt.printf("msgpack.unmarshal failed: %v\n", err)
		return
	}
	// msgpack.unmarshal: map[age:18 height:1.75 name:alex]
	fmt.printf("msgpack.unmarshal: %v\n", d2)

	for k, v := range d2 {
		// key: age, value: 18, type:int8
		// key: height, value: 1.75, type:float32
		// key: name, value: alex, type:string
		fmt.printf("key: %s, value: %v, type:%t \n", k, v, v)
	}

}

msgpack的优势：