• Google原版bert: github.com/google-rese…
• brightmart版roberta: github.com/brightmart/…
• 哈工大版roberta: github.com/ymcui/Chine…
• Google原版albert[例子]: github.com/google-rese…
• brightmart版albert: github.com/brightmart/…
• 转换后的albert: github.com/bojone/albe…
• 华为的NEZHA: github.com/huawei-noah…
• 自研语言模型: github.com/ZhuiyiTechn…
• T5模型: github.com/google-rese…
• GPT2_ML: github.com/imcaspar/gp…
• Google原版ELECTRA: github.com/google-rese…
• 哈工大版ELECTRA: github.com/ymcui/Chine…
• CLUE版ELECTRA: github.com/CLUEbenchma…

 

从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史zhuanlan.zhihu.com/p/49271699

Attention

zhuanlan.zhihu.com/p/37601161

预训练在自然语言处理的发展: 从Word Embedding到BERT模型（ppt精简版）

mp.weixin.qq.com/s/LGJvvhotS…

【NLP】Attention原理和源码解析

zhuanlan.zhihu.com/p/43493999

BERT安装与使用

www.cnblogs.com/nxf-rabbit7…