1.2万亿参数：Google通用稀疏语言模型GLaM，小样本学习打败GPT-3

象概念生成（NLG）执行，其里生成的短语基于真值目标顺利进行审核（以 Exact Match 和 F1 measure 为指标），以及 21 项抽象概念明白（NLU）执行，其里几个 options 里的预测通过必需对数似然来考虑。

检验结果

当每个 MoE 层只有一个专家学者时，GLaM 扩大为一个基于 Transformer 的基础外围框架的系统。在所有试验里，苹果公司可用「基础外围框架大得多 / 每个 MoE 层的专家学者可用量」来阐述 GLaM 框架。比如，1B/64E 表示是 1B 假定的外围框架的系统，月时会一层由 64 个专家学者 MoE 层替换成。

苹果公司测试了 GLaM 的高效率和构建属性，以外在完全一致信息集上军事训练的基线外围框架。与最近Microsoft联合英伟达热卖的 Megatron-Turing 相比，GLaM 可用 5% margin 时在 7 项完全完全一致的执行上充分利用了不相上下的高效率，同时侦探小说全过程里可用的算力下降了 4/5。

此外，在侦探小说全过程里可用算力更加少的情况下，1.2T 假定的稀少应答框架（GLaM）在更加多执行上充分利用了比 1.75B 假定的外围 GPT-3 框架更加好的超过结果。

NLG（右方）和 NLU（从右）执行上，GLaM 和 GPT-3 的超过得分（越大越好）。

苹果公司总结了 29 个计量上，GLaM 与 GPT-3 的高效率相当结果。结果显示，GLaM 在 80% 右方从右的 zero-shot 执行和 90% 右方从右的 one-shot 执行上超越或持平 GPT-3 的高效率。

此外，虽然完整版 GLaM 有 1.2T 的总假定，但在侦探小说全过程里每个 token 均应答 97B 假定（1.2T 的 8%）的VLAN。

构建

GLaM 有两种构建方式：1) 构建每层的专家学者可用量，其里每个专家学者都托管在一个数值器材里；2) 构建每个专家学者的大得多以超出单个器材的放宽。为了审核构建属性，该研究在侦探小说时相当每个 token 的 FLOPS 类似于的也就是说外围框架。

通过提高每个专家学者的大得多，zero-shot 和 one-shot 的超过高效率。随着专家学者大得多的增加，侦探小说时每个 token 预测的 FLOPS 也时会提高。

如上平面图右图，跨执行的高效率与专家学者的大得多成比例。在生成执行的侦探小说全过程里，GLaM 稀少应答框架的高效率也远胜 FLOP 类似的外围框架。对于明白执行，研究者观察到它们在大得多的现有上高效率类似于，但稀少应答框架在小得多的现有上高效率更加好。

信息高效率

军事训练大型语言框架数值外围，因此提高高效率有助于降低增量。该研究简介了完整版 GLaM 的数值成本。

框架侦探小说（右方）和军事训练（从右）的数值成本（GFLOPS）。

这些数值成本表明 GLaM 在军事训练长期可用了更加多的数值，因为它在更加多的 token 上军事训练，但在侦探小说长期可用的数值却少得多。下平面图简介了可用完全完全一致可用量的 token 顺利进行军事训练的相当结果，并审核了该框架的研修曲线。

随着军事训练里解决问题了更加多的 token，稀少应答型和外围框架在 8 项生成执行上的超过 zero-shot 和 one-shot 高效率。

随着军事训练里解决问题了更加多的 token，稀少应答型和外围框架在 21 项明白执行上的超过 zero-shot 和 one-shot 高效率。

结果表明，稀少应答框架在降到与外围框架类似于的 zero-shot 和 one-shot 高效率时，军事训练时可用的信息很大下降。并且，如果受放宽的信息量完全一致，稀少型框架的发挥明显更加好。

就此，苹果公司对 GLam 的能效顺利进行了审核：

军事训练长期，GLaM 与 GPT-3 的增量相当。

虽然 GLaM 在军事训练长期可用了更加多算力，但得益于 GSPMD（苹果公司 5 月热卖的常用常见机器人研修数值平面图的基于编译器的系统设计立体化系统）赋能的更加高效软件充分利用和 TPUv4 的优势，它在军事训练时耗能要少于其他框架。

英文原文：

。

孩子积食药
伤口怎样愈合的快
疲劳眼干用什么眼药水