AI模型训练

ChatGLM

开源的、支持中英双语的1300亿参数的对话语言模型

标签:


ChatGLM-130B 是由 AI 编程助手「CodeGeex」背后的智谱 AI 团队开发的 1300 亿参数的开源的、支持中英双语的对话语言模型。

GLM-130B 是一个开源开放的双语(中文和英文)双向稠密模型,拥有 1300 亿参数,模型架构采用通用语言模型(GLM1)。它旨在支持在一台 A100(40G * 8) 或 V100(32G * 8)服务器上对千亿规模参数的模型进行推理。截至 2022 年 7 月 3 日,GLM-130B 已完成 4000 亿个文本标识符(中文和英文各 2000 亿)的训练,它有以下独特优势:

  • 双语:同时支持中文和英文。
  • 高精度(英文): 在 LAMBADA 上优于 GPT-3 175B(+4.0%)、OPT-175B(+5.5%)和 BLOOM-176B(+13.0%),在 MMLU 上略优于 GPT-3 175B(+0.9%)。
  • 高精度(中文):在 7 个零样本 CLUE 数据集(+24.26%)和 5 个零样本 FewCLUE 数据集(+12.75%)上明显优于 ERNIE TITAN 3.0 260B。
  • 快速推理:支持用一台 A100 服务器使用 SAT 和 FasterTransformer 进行快速推理(提速最高可达 2.5 倍)。
  • 可复现性:所有结果(超过 30 个任务)均可通过我们的开源代码和模型参数轻松复现。
  • 跨平台:支持在 NVIDIA、Hygon DCU、Ascend 910 和 Sunway 处理器上进行训练与推理。

 

[ad]

相关导航

暂无评论

暂无评论...