标签:大语言模型

大语言模型分布式训练的量化分析与优秀实践,以 GPT-175B 为例

一、Transformer 大语言模型的 SOTA 训练技术1、大语言模型的发展背景与挑战首先和大家分享下大语言模型的发展背景。过去的几年内,无论从数据量的维度还是从...