关于掘金的任何反馈都可以找我哈!可以加微信:chnyifan 或者 zwcatfly 进作者推荐群 获得徽章 27
掘金运营团队
亲爱的各位创作者们:
今天运营团队在进行日常的站内巡查时,发现有用户批量发布广告文章。我们在处理这些违规内容的过程中,由于技术脚本出现了一些失误,导致一些正常文章被误删。
我们意识到这个问题后,第一时间采取了补救措施,目前已经在紧急恢复被误删的文章。我们由衷地感到抱歉,给大家带来了不好的用户体验。
作为一个致力于为用户提供优质内容和良好社区氛围的平台,我们深知内容的重要性,也十分重视每一位用户的创作成果。我们将汲取此次教训,完善内容管理流程和技术手段,力求在打击违规内容的同时,最大限度地保障正常内容的安全。
再次向各位掘友真诚地道歉,感谢大家一如既往的支持和理解。我们将继续努力,为大家营造一个干净、友好、充满价值的社区环境。
马斯克的大模型 Grok-1 开源了,这是一款拥有3140亿参数的先进混合专家模型,截止目前参数量最大的开源大语言模型。
这个版本包含了Grok-1在2023年10月完成预训练阶段时的基础模型数据。这意味着模型尚未经过针对特定应用(如对话系统)的微调。
根据Apache 2.0许可协议,向公众开放模型的权重和架构。
模型详细信息
- 该基础模型通过大量文本数据训练而成,未专门针对任何具体任务进行优化。
- 3140亿参数构成的混合专家模型,其中25%的参数能够针对特定的数据单元(Token)激活。
- xAI团队利用定制的训练技术栈,在JAX和Rust的基础上,从零开始构建了此模型,完成时间为2023年10月。
- 模型参数数量高达3140亿
- 混合专家模型(Mixture of Experts, MoE)
- 每一个数据单元(Token)由2位专家处理
- 共64个处理层
- 用于处理查询的有48个注意力机制单元(attention heads)
- 用于处理键(key)/值(value)的有8个注意力机制单元
- 嵌入向量(embeddings)的维度为6,144
- 采用旋转式嵌入表示(Rotary Position Embeddings, RoPE)
- 使用SentencePiece分词系统处理,包含131,072种数据单元
- 支持激活数据分布计算(activation sharding)和8位数字精度量化(8-bit quantization)
- 最大序列长度为8,192个数据单元,以处理更长的上下文信息
相关链接:github.com、x.ai
@翻译助手 Thank you for the wonderful work your team has done. I love Puter and I believe my friends will love it too.
@隔壁老王 听说你爱骂人?是真的假的?再骂人封你账号。
下一页