QQ 聊天记录简单数据分析

手机里的聊天记录一直没删，有的群的消息已经几万条了，所以做一下简单的数据分析。

提取数据

Android 的 QQ 聊天记录比较容易导出，这里说一下 iOS 未越狱的，将 iOS 用 iTunes 备份，进入备份文件夹，按照文件大小进行排序，最大的几个文件夹，一个是 QQ 聊天记录，一个是微信聊天记录，聊天记录是 SQLite 格式的，这里我使用 SQLiteStudio 打开。打开后是这个样子。

直接选择对应的好友或者群的 QQ 号打开就可以看到聊天记录。分别对应发送时间，发送人，发送的消息等等。用 SQL 语句将要的某一列或者几列数据导出 CSV 便于分析： select msgtime from tb_TroopMsg_xxxxxxx where senduin=xxxxxxxx

开始分析

主要用 pandas 和 matplotlib。

import pandas as pd
import matplotlib.pyplot as plt
import matplotlib
import time
%matplotlib inline
# 解决matplotlib显示中文问题
plt.rcParams['font.sans-serif'] = ['SimHei']  # 指定默认字体
plt.rcParams['axes.unicode_minus'] = False  # 解决保存图像是负号'-'显示为方块的问题
plt.style.use(u'ggplot')

然后导入数据,这里导入的是昵称列，用于分析群里谁的话最多

df=pd.read_csv(r'names.csv',encoding='gb18030')

s=df.iloc[:,0]
v=s.value_counts() #选出该列做频数统计

fig, ax = plt.subplots()
plt.rcParams['figure.figsize'] = (6, 15)
v[0:50][::-1].plot(kind='barh') #发言数排在前五十的
plt.xticks(fontsize=15)
plt.yticks(fontsize=15)
ax.tick_params(labelbottom='on',labeltop='on')
#plt.savefig('phone.png',bbox_inches='tight')

结果如图：

然后做个词云。先准备好字符串。

df=pd.read_csv(r'chat.csv',encoding='gb18030')
chats=list(df['h'].values) #取出聊天消息列
chattext=' '.join(map(str,chats))
import re
s,c =re.subn(r'<(.*?)>','',chattext) 
ss,c =re.subn(r'{(.*?)}','',s)  #去除聊天对话中的链接和图片

制作词云。

import jieba
import wordcloud
from wordcloud import WordCloud
import jieba.analyse
import PIL
from wordcloud import ImageColorGenerator

# 有两种统计词频的方式
freq = jieba.analyse.extract_tags(ss,topK=100,withWeight=True)
freq2 = jieba.analyse.textrank(ss,topK=100,withWeight=True)
freq_dict={}
for i in freq:
    freq_dict[i[0]] = i[1]
freq_dict2={}
for i in freq2:
    freq_dict2[i[0]] = i[1]
    
    
import numpy as np
alice_mask = np.array(PIL.Image.open(r'h.png'))
wc = WordCloud(background_color = "white", #设置背景颜色  
               width=600, height=600,
               max_words = 300, #设置最大显示的字数  
               #stopwords = "", #设置停用词  
#                font_path = "simhei.ttf",
               mask=alice_mask, #设置背景图片 
               font_path = "FZKaTong-M19S.TTF",
        #设置中文字体，使得词云可以显示（词云默认字体是“DroidSansMono.ttf字体库”，不支持中文）  
               max_font_size = 60,  #设置字体最大值  
               random_state = 30, #设置有多少种随机生成状态，即有多少种配色方案  
    )  
    
plt.rcParams['figure.figsize'] = (100, 100)
wc.generate_from_frequencies(freq_dict2)
plt.imshow(wc)
plt.axis("off")
# plt.savefig('ciyun2.png')
plt.show()

结果如图

结束，此外还可以统计每天的发言数，情感分析等等。