feedback》论文 ◼ InstructGPT与ChatGPT属于相同代际的模型，ChatGPT只是在InstructGPT的基础上增加了Chat属性，且开放了公众测试 ◼ ChatGPT提升了理解人类思维的准确性的原因在于利用了基于人类反馈数据的系统进行模型训练 （注：根据官网介绍，GhatGPT也是基于InstructGPT构建，因而可以从InstructGPT来理解ChatGPT利用人类意图来增强模型效果）

要同时了解（1）以特定方式提出问题的动机；（2）给定建模方法的数学； （3）将模型拟合数据的优化算法； （4） 能够有效训练模型、克服数值计算缺陷并最大限度地利用现有硬件的工程方法。同时教授表述问题所需的批 判性思维技能、解决问题所需的数学知识，以及实现这些解决方案所需的软件工具，这是一个巨大的挑战。 在我们开始写这本书的时候，没有资源能够同时满足一些条件：（1）是最新的；（2）涵盖了现代机器学习的 所有领 问题是，我们永远不能准确地计算出泛化误差。这是因为无限多的数据样本是一个虚构的对象。在实际中，我 们只能通过将模型应用于一个独立的测试集来估计泛化误差，该测试集由随机选取的、未曾在训练集中出现 的数据样本构成。 下面的三个思维实验将有助于更好地说明这种情况。假设一个大学生正在努力准备期末考试。一个勤奋的学 生会努力做好练习，并利用往年的考试题目来测试自己的能力。尽管如此，在过去的考试题目上取得好成绩 并不能保证他会在 环 （1‐4‐6‐3‐5‐8‐2‐7‐1）。在这种情况下，设计一个高效的同步协议是非常重要的。 12.7. 参数服务器 543 图12.7.5: 将NVLink网络分解为两个环。 考虑下面的思维试验：给定由n个计算节点（或GPU）组成的一个环，梯度可以从第一个节点发送到第二个节 点，在第二个结点将本地的梯度与传送的梯度相加并发送到第三个节点，依此类推。在n − 1步之后，可以在 最后访

[30, 30, 30], [31, 31, 31]],…) 可以看到，在普适性原则的指导下，Broadcasting 机制变得直观、好理解，它的设计是非常 符合人的思维模式。 来考虑一个不满足普适性原则的例子，如下图 4.9 所示。 ? ℎ ? 2 长度为2，不具备普适性 图 4.9 Broadcasting 失败案例 在?维度上，张量已经有