获得徽章 8
更新了下之前的MiniGPT4Qwen,Scale Up了语言模型,得到MiniGPT4Qwen-14B。

MiniGPT4Qwen14B对语言模型进行了Scale Up,采用Qwen-14B-Chat模型作为底座,以获得更好的对话体验。值得一提的是,为了能在3090上训练14B~15B的模型(不进行量化操作),MiniGPT4Qwen14B选择采用DeepSpeed的流水线并行(GPipe,Pipeline Parallel)技术。

代码库:github.com,已加入MiniGPT4Qwen-14B-Chat模型的双卡DeepSpeed流水线并行训练,后续的推理(命令行demo+ gradio WebUI demo),以及14B模型的checkpoint和train log(流水线并行14B模型的权重和日志)。如果有帮助,可以考虑star一下,马上200个了!有相关问题和建议也可以github上直接提issue,会比私戳我更快!

对应的掘金博客:
展开
评论
鹌鹑蛋来了,今天又坐一天[听歌]
19
我看到一个很有意思的观点,性价值是随着年龄增加而快速贬值的,不知道你们怎么看,
2
有玩白荆回廊的兄弟吗,这两天玩的上头了,天天晚上玩到一两点,
7
有从事逆向的大佬吗,想问下待遇和工作内容,了解了一下逆向工程,感觉还蛮有兴趣的,
5
打工是为了赚钱,那赚钱是为了什么?
12
大佬们,是不是要推行房产税了,是不是房子再过四五年就是白菜价了,,,不是刚需完全没必要买是把
9
有买loft公寓的jym吗,比较好奇价格和居住体验,,,有jy分享一下心得吗,
25
#如何看待openai的内斗大戏# 非常精彩,但是我比较好奇,国内有类似的事件吗?据我所知好像没有?毕竟企业家拿捏你还不是轻轻松松?
4
vue3 diif算法
南山隐士于2023-11-15 22:33发布的图片
评论
jym,你们的人生意义是什么?票子?车子?房子?家人?孩子?有多少是真正为自己而活的呢?
23
#1024一起掘金# 兄弟盟,真的有点干不动996了,想辞职去大理躺平,有什么副业兼职推荐,一个月能收入3000左右就行,,,
3
xdm,经常敏感多疑是咋回事捏
25
在学web3的时候看到这个数据,去年的视频,不知道保真不?
不让老板住上豪宅开上豪车我怎么敢下班于2023-09-22 17:01发布的图片
3
大家上班都是赚工资吗?
不会只有我是赚精神损失费吧?
2
我一直以为程序员的电脑都不怎么会有弹框广告,然后发现同事各种屏保广告,右下角广告,,,多不胜数,
20
jym有什么游戏手柄推荐吗,
11
[捂脸][吃瓜群众][捂脸]
不让老板住上豪宅开上豪车我怎么敢下班于2023-08-01 17:40发布的图片
1
我明明签的是劳动合同,怎么搞的跟卖身契一样,
12
这个网址根本打不开,,,政府的调查问卷可太6了,
不让老板住上豪宅开上豪车我怎么敢下班于2023-07-24 10:35发布的图片
39
下一页
个人成就
文章被点赞 10
文章被阅读 1,974
掘力值 58
收藏集
8
关注标签
10
加入于