群聊比单聊,为什么复杂这么多?

10,739 阅读7分钟

群聊是多人社交的基本诉求,一个群友在群内发了一条消息,期望做到:

(1) 在线的群友能第一时间收到消息;

(2) 离线的群友能在登陆后收到消息;

群消息的实时性、可达性、离线消息的复杂度,要远高于单对单消息。

常见的群消息流程如何?

群业务的核心数据结构有两个。

群成员表

t_group_users(group_id, user_id)

画外音:用来描述一个群里有多少成员。

群离线消息表

t_offine_msgs(user_id, group_id, sender_id,time, msg_id, msg_detail)

画外音:用来描述一个群成员的离线消息。

业务场景举例:

(1) 假设一个群中有 x,A,B,C,D 共 5 个成员,成员 x 发了一个消息;

(2) 成员 A 与 B 在线,期望实时收到消息;

(3) 成员 C 与 D 离线,期望未来拉取到离线消息;


典型群消息投递流程,如图步骤 1-4 所述:

步骤 1:群消息发送者 x 向 server 发出群消息;

步骤 2:server 去 db 中查询群中有多少用户 (x,A,B,C,D);

步骤 3:server 去 cache 中查询这些用户的在线状态;

步骤 4:对于群中在线的用户 A 与 B,群消息 server 进行实时推送;

步骤 5:对于群中离线的用户 C 与 D,群消息 server 进行离线存储;


典型的群离线消息拉取流程,如图步骤 1-3 所述:

步骤 1:离线消息拉取者 C 向 server 拉取群离线消息;

步骤 2:server 从 db 中拉取离线消息并返回群用户 C;

步骤 3:server 从 db 中删除群用户 C 的群离线消息;

那么,问题来了!对于同一份群消息的内容,多个离线用户似乎要存储很多份。假设群中有 200 个用户离线,离线消息则冗余了 200 份,这极大的增加了数据库的存储压力。

如何优化,减少消息冗余量?

为了减少离线消息的冗余度,增加一个群消息表,用来存储所有群消息的内容,离线消息表只存储用户的群离线消息 msg_id,就能大大的降低数据库的冗余存储量。

群消息表

t_group_msgs(group_id, sender_id, time,msg_id, msg_detail)

画外音:用来存储一个群中所有的消息内容。

群离线消息表,需要进行优化:

t_offine_msgs(user_id, group_id, msg_id)

画外音:优化后只存储 msg_id。


这样优化后,群在线消息发送就做了一些修改:

步骤 3:每次发送在线群消息之前,要先存储群消息的内容;

步骤 6:每次存储离线消息时,只存储 msg_id,而不用为每个用户存储 msg_detail;


拉取离线消息时也做了响应的修改:

步骤 1:先拉取所有的离线消息 msg_id;

步骤 3:再根据 msg_id 拉取 msg_detail;

步骤 5:删除离线 msg_id;

**优化后的流程,能保证消息的可达性么?**例如:

(1)在线消息的投递可能出现消息丢失,例如服务器重启,路由器丢包,客户端 crash;

(2)离线消息的拉取也可能出现消息丢失,原因同上;

画外音:单对单消息的可靠投递一样,是通过加入应用层的 ACK 实现的,群消息呢?

群消息,如何通过应用层 ACK,保证消息的可靠投递?


应用层 ACK 优化后,群在线消息发送又发生了一些变化:

步骤 3:在消息 msg_detail 存储到群消息表后,不管用户是否在线,都先将 msg_id 存储到离线消息表里;

步骤 6:在线的用户 A 和 B 收到群消息后,需要增加一个应用层 ACK,来标识消息到达;

步骤 7:在线的用户 A 和 B 在应用层 ACK 后,将他们的离线消息 msg_id 删除掉;


对应到群离线消息的拉取也一样:

步骤 1:先拉取 msg_id;

步骤 3:再拉取 msg_detail;

步骤 5:最后应用层 ACK;

步骤 6:server 收到应用层 ACK 才能删除离线消息表里的 msg_id;

如果拉取了消息,却没来得及应用层 ACK,会收到重复的消息么?

似乎会,但可以在客户端去重,对于重复的 msg_id,对用户不展现,从而不影响用户体验。

对于离线的每一条消息,虽然只存储了 msg_id,但是每个用户的每一条离线消息都将在数据库中保存一条记录,有没有办法减少离线消息的记录数呢?

对于一个群用户,在 ta 登出后的离线期间内,肯定是所有的群消息都没有收到的,完全不用对所有的每一条离线消息存储一个离线 msg_id,而只需要存储最近一条拉取到的离线消息的 time(或者 msg_id),下次登录时拉取在那之后的所有群消息即可,而完全没有必要存储每个人未拉取到的离线消息 msg_id。

群成员表,增加一个属性:

t_group_users(group_id, user_id, last_ack_msg_id)

画外音:用来描述一个群里有多少成员,以及每个成员最后一条 ack 的群消息的 msg_id(或者 time)。

群消息表,不变:

t_group_msgs(group_id, sender_id, time,msg_id, msg_detail)

画外音:还是用来存储一个群中所有的消息内容。

群离线消息表:不再需要。


离线消息表优化后,群在线消息的投递流程:

步骤 3:在消息 msg_detail 存储到群消息表后,不再需要操作离线消息表(优化前需要将 msg_id 插入离线消息表);

步骤 7:在线的用户 A 和 B 在应用层 ACK 后,将 last_ack_msg_id 更新即可(优化前需要将 msg_id 从离线消息表删除);


群离线消息的拉取流程也类似:

步骤 1:拉取离线消息;

步骤 3:ACK 离线消息;

步骤 4:更新 last_ack_msg_id;

加入 ACK 机制,保证群消息的可靠投递只会,假设 1 个群有 500 个用户,“每条” 群消息都会变为 500 个应用层 ACK,似乎会对服务器造成巨大的冲击。有没有办法减少 ACK 请求量呢?

批量 ACK,是一种常见的,降低请求量的方式。

如果每条群消息都 ACK,确实会给服务器造成巨大的冲击,为了减少 ACK 请求量,可以批量 ACK,批量 ACK 的方式又有两种方式:

(1) 每收到 N 条群消息 ACK 一次,这样请求量就降低为原来的 1/N 了;

(2) 每隔时间间隔 T 进行一次群消息 ACK,也能达到类似的效果;

批量 ACK 有可能导致新的问题:如果还没有来得及 ACK 群消息,用户就退出了,这样下次登录似乎会拉取到重复的离线消息,怎么办?

客户端按照 msg_id 去重,不对用户展现,就保证良好的用户体验。

群离线消息过多,拉取过慢,怎么办?

分页拉取(按需拉取),细节就不再展开了,都是常见的优化方案。

总结

群消息还是非常有意思的,做个简单总结:

(1) 不管是群在线消息,还是群离线消息,应用层的 ACK 是可达性的保障;

(2) 群消息只存一份,不用为每个用户存储离线群 msg_id,只需存储一个最近 ack 的群消息 id/time;

(3) 为了减少消息风暴,可以批量 ACK;

(4) 如果收到重复消息,需要 msg_id 去重,让用户无感知;

(5) 离线消息过多,可以分页拉取(按需拉取)优化;

思路比结论重要,希望大家有收获。

架构师之路 - 分享可落地的技术文章

你丢过群消息么?