million的网页、大小40GB的文本。 图：GPT-2通过调整原模型和采用多任务方式来让AI更贴近“通才” 水平 GPT的发展 37 资料来源：《 Language Models are Few-Shot Learners》论文 • 预训练加微调范式中，可能在这种范式下实现的 泛化可能很差，因为该模型过于特定于训练分布， 并且在其之外无法很好地泛化。 • 微调模型在特定基准上的性能，即使名义上是人 现了强大性能 ✓ GPT-3是一个具有1750亿个参数的自回归语言模型，比之前的任何非稀疏语言模型多10倍。对于所有任务（在few-shot设置下测试其 性能），GPT-3都是在没有任何梯度更新或微调的情况下应用的，仅通过与模型的文本交互来指定任务和few-shot演示。 ✓ GPT-3在许多NLP数据集上都有很强的性能（包括翻译、问题解答和完形填空任务），以及一些需要动态推理或领域适应的任务（如解 GPT-3可以生成新闻文章样本（已很难将其与人类撰写的文章区分开来）。 图：GPT-3相关研究显示，few-shot(少量样本）的综 合表现是在无监督模式下最优的 图：GPT-3的模型参数在GPT-2的基础上增加110多倍 资料来源：《 Language Models are Few-Shot Learners》 GPT的发展 39 资料来源：《Training language models

official Tensorflow Hub repository8. Similarly models like GPT-3, T5, etc. have the capability to be few-shot learners. This means that they can be shown a few example inputs and outputs to solve a new task perform sentiment detection by showing it a few examples of the task. Figure 6-7: An example of few-shot learning with a large language model. One of the prominent deployment of such models is the GitHub’s achieve higher quality models with scant labeled data. In fact very large models like GPT-3 are few-shot learners, in that they can be shown a couple of examples of the task to be solved, and they can

this growth sustainable with efficient deep learning. 5 Brown, Tom B., et al. "Language models are few-shot learners." arXiv preprint arXiv:2005.14165 (2020). 4 Devlin, Jacob, et al. "Bert: Pre-training

机器人(Robotics) 在真实环境中，机器人的控制也取得了一定的进展。如 UC Berkeley 实验室在机器人领域的 Imitation Learning、Meta Learning、Few-shot Learning 等方向上取得 了不少进展。美国波士顿动力公司在机器人应用中取得喜人的成就，其制造的机器人在复 杂地形行走、多智能体协作等任务上表现良好(图 1.19)。 自动驾驶(Autonomous