序列化与反序列化

10,529 阅读8分钟

序列化与反序列化是开发过程中不可或缺的一步,简单来说,序列化是将对象转换成字节流的过程,而反序列化的是将字节流恢复成对象的过程。两者的关系如下:

序列化与反序列化是一个标准(具体参考XDR:外部数据表示标准 RFC 1014),它是编程语言的一种共性,只是有些编程语言是内置的(如Java,PHP等),有些语言是通过第三方库来实现的(如C/C++)。

使用场景

  • 对象的持久化(将对象内容保存到数据库或文件中)
  • 远程数据传输(将对象发送给其他计算机系统)

为什么需要序列化与序列化?

序列化与序列化主要解决的是数据的一致性问题。简单来说,就是输入数据与输出数据是一样的。

对于数据的本地持久化,只需要将数据转换为字符串进行保存即可是实现,但对于远程的数据传输,由于操作系统,硬件等差异,会出现内存大小端,内存对齐等问题,导致接收端无法正确解析数据,为了解决这种问题,Sun Microsystems在20世纪80年代提出了XDR规范,于1995年正式成为IETF标准。

Java中的序列化与反序列化

Java语言内置了序列化和反序列化,通过Serializable接口实现。

public class Account implements Serializable {

	private int age;
	private long birthday;
	private String name;
}

序列化兼容性

序列化的兼容性指的是对象的结构变化(如增删字段,修改字段,字段修饰符的改变等)对序列化的影响。为了能够识别对象结构的变化,Serializable使用serialVersionUID字段来标识对象的结构。默认情况下,它会根据对象的数据结构自动生成,结构发生变化后,它的值也会跟随变化。虚拟机在反序列化的时候会检查serialVersionUID的值,如果字节码中的serialVersionUID和要被转换的类型的serialVersionUID不一致,就无法进行正常的反序列化。

示例:将Account对象保存到文件中,然后在Account类中添加address字段,再从文件中读取之前保存的内容。

// 将Account对象保存到文件中
FileOutputStream fos = new FileOutputStream(file);
ObjectOutputStream oos = new ObjectOutputStream(fos);
oos.writeObject(account);
oos.flush();

// 修改Account对象的结构
public class Account implements Serializable {

	private int age;
	private long birthday;
	private String name;
	private String address;
	
	public Account(int age, String name) {
	    this.age = age;
	    this.name = name;
	}
}   

// 读取Account的内容
FileInputStream fis = new FileInputStream(file);
ObjectInputStream ois = new ObjectInputStream(fis);
Account account2 = (Account)ois.readObject();

由于在保存Account对象后修改了Account的结构,会导致serialVersionUID的值发生变化,在读文件(反序列化)的时候就会出错。所以为了更好的兼容性,在序列化的时候,最好将serialVersionUID的值设置为固定的。

public class Account implements Serializable {

    private static final long serialVersionUID = 1L;
    
    private int age;
    private long birthday;
    private String name;
}

序列化的存储规则

Java中的序列化在将对象持久化(序列化)的时候,为了节省磁盘空间,对于相同的对象会进行优化。当多次保存相同的对象时,其实保存的只是第一个对象的引用。

// 将account对象保存两次,第二次保存时修改其用户名
Account account = new Account("Freeman");
FileOutputStream fos = new FileOutputStream(file);
ObjectOutputStream oos = new ObjectOutputStream(fos);
oos.writeObject(account);
System.out.println("fileSize=" +file.length());
account.setUserName("Tom");
oos.writeObject(account);
System.out.println("fileSize=" +file.length());

// 读取两次保存的account对象
FileInputStream fis = new FileInputStream(file);
ObjectInputStream ois = new ObjectInputStream(fis);
Account account2 = (Account)ois.readObject();
Account account3 = (Account)ois.readObject();
System.out.println("account2.name=" + account2.getUserName() + "\n  account3.name=" + account3.getUserName() + "\naccount2==account3 -> " + account2.equals(account3));

输出结果:

account2.name=Freeman  
account3.name=Freeman 
account2==account3 -> true

所以在对同一个对象进行多次序列化的时候,最好通过clone一个新的对象再进行序列化。

序列化对单例的影响

反序列化的时候,JVM会根据序列化生成的内容构造新的对象,对于实现了Serializable的单例类来说,这相当于开放了构造方法。为了保证单例类实例的唯一性,我们需要重写resolveObject方法。

/**
 * 在反序列化的时候被调用
 * @return 返回根据字节码创建的新对象
 * @throws ObjectStreamException
 */
private Object readResolve()throws ObjectStreamException {
    return instance;
}

控制序列化过程

虽然直接使用Serializable很方便,但有时我们并不想序列化所有的字段,如标识选中状态的isSelected字段,涉及安全问题的password字段等。此时可通过通过以下方法实现:

  1. 给不想序列化的字段添加static或transient修饰词:

Java中的序列化保存的只是对象的成员变量,既不包括static成员(static成员属于类),也不包括成员方法。同时Java为了让序列化更灵活,提供了transient关键字,用来关闭字段的序列化。

public class Account implements Serializable {

    private static final long serialVersionUID = 1L;

    private String userName;
    private static String idcard;
    private transient String password;
}
  1. 直接使用Externalizable接口控制序列化过程:

Externalizable也是Java提供的序列化接口,与Serializable不同的是,默认情况下,它不会序列化任何成员变量,所有的序列化,反序列化工作都需要手动完成。

public class Account implements Externalizable {

    private static final long serialVersionUID = 1L;
    
	private String userName;
	private String idcard;
	private String password;
	
	@Override
	public void writeExternal(ObjectOutput out) throws IOException {
		out.writeObject(userName);
	}
	
	@Override
	public void readExternal(ObjectInput in) throws IOException, ClassNotFoundException {
		userName = (String) in.readObject();
	}
}
  1. 自己实现序列化/反序列化过程

    public class Account implements Serializable {

     private static final long serialVersionUID = 1L;
     
     private String userName;
     private transient String idcard;
     private String password;
     
     private void writeObject(ObjectOutputStream oos)throws IOException {
     	// 调用默认的序列化方法,序列化非transient/static字段
     	oos.defaultWriteObject();
     	oos.writeObject(idcard);
     }
     
     private void readObject(ObjectInputStream ois) throws IOException, ClassNotFoundException {
     	// 调用默认的反序列化方法,发序列化非transient/static字段
     	ois.defaultReadObject();
     	idcard = (String)ois.readObject();
     }
    

    }

关于Java序列化算法的详细介绍可参考:Java序列化算法透析

Java序列化注意事项

  1. 通过Serializable序列化的对象,在反序列化的时候,直接根据字节码构造对象,并不会调用对象的构造方法;
  2. 通过Serializable序列化子类时,如果父类没有实现Serializable接口,那么父类需要提供默认的构造方法,否则在反序列化的时候抛出java.io.NotSerializableException异常;
  3. 通过Externalizale实现序列化时,反序列化的时候需要调用对象的默认构造方法;
  4. 由于Externalizale默认情况下不会对任何成员变量进行序列化,所以transient关键字只能在Serializable序列化方式中使用;

数据交换协议

序列化与反序列化为数据交换提供了可能,但是因为传递的是字节码,可读性差。在应用层开发过程中不易调试,为了解决这种问题,最直接的想法就是将对象的内容转换为字符串的形式进行传递。具体的传输格式可自行定义,但自定义格式有一个很大的问题——兼容性,如果引入其他系统的模块,就需要对数据格式进行转换,维护其他的系统时,还要先了解一下它的序列化方式。为了统一数据传输的格式,出现了几种数据交换协议,如:JSON, Protobuf,XML。这些数据交换协议可视为是应用层面的序列化/反序列化。

JSON

JSON(JavaScript Object Notation)是一种轻量级,完全独立于语言的数据交换格式。目前被广泛应用在前后端的数据交互中。

语法

JSON中的元素都是键值对——key:value形式,键值对之间以":"分隔,每个键需用双引号引起来,值的类型为String时也需要双引号。其中value的类型包括:对象,数组,值,每种类型具有不同的语法表示。

对象

对象是一个无序的键值对集合。以"{"开始,以"}"结束, 每个成员以","分隔。例如:

"value" : {
    "name": "Freeman",
    "gender": 1
}
数组

数组是一个有序的集合,以"["开始,以"]"结束,成员之间以","分隔。例如:

"value" : [
    {
        "name": "zhangsan",
        "gender": 1
    },
    {
        "name": "lisi",
        "gender": 2
    }
]

值类型表示JSON中的基本类型,包括String,Number(byte, short, int, long, float, double), boolean。

"name": "Freeman"
"gender": 1
"registered": false
"article": null

==注意==:对象,数组,值这三种元素可互相嵌套!

{
    "code": 1,
    "msg": "success",
    "data": [
        {
            "name": "zhangsan",
            "gender": 1
        },
        {
            "name": "lisi",
            "gender": 2
        }
    ]
}

对于JSON,目前流行的第三方库有Gson, fastjson:关于Gson的详细介绍,参考Gson使用教程

Protobuf

Protobuf是Google实现的一种与语言无关,与平台无关,可扩展的序列化方式,比XML更小,更快,使用更简单。

Protobuf具有很高的效率,并且几乎为主流的开发语言都提供了支持,具体参考Protobuf开发文档

在Android中使用Protobuf,需要protobuf-gradle-plugin插件,具体使用查看其项目说明。

XML

XML(Extensible Markup Language)可扩展标记语言,通过标签描述数据。示例如下:

<?xml version="1.0" encoding="UTF-8"?>
<person>
    <name>Freeman</name>
    <gender>1</gender>
</person>

使用这种方式传输数据时,只需要将对象转换成这种标签形式,在接收到数据后,将其转换成相应的对象。

关于JAVA开发中对XML的解析可参考四种生成和解析XML文档的方法详解

数据交换协议如何选择

从性能,数据大小,可读性三方面进行比较,结果如下:

协议 性能 数据大小 可读性
JSON
Protobuf
XML

对于数据量不是很大,实时性不是特别高的交互,JSON完全可以满足要求,毕竟它的可读性高,出现问题容易定位(注:它是目前前端,app和后端交换数据使用的主流协议)。而对于实时性要求很高,或数据量大的场景,可使用Protobuf协议。具体数据交换协议的比较可参考github.com/eishay/jvm-…