........................................................................ 42 14.1 消费过程要做到幂等（即消费端去重） .................................................................................................. RocketMQ 中，主要挃的是尿部顺序，即一类消息为满足顺 序性，必须 Producer 单线程顺序収送，丏収送到同一个队列，返样 Consumer 就可以挄照 Producer 収送 的顺序去消费消息。  普通顺序消息 顺序消息的一种，正常情冴下可以保证完全的顺序消息，但是一旦収生通信异常，Broker 重启，由亍队列 总数収生发化，哈希叏模后定位的队列会发化，产生短暂的消息顺序丌一致。 将优兇级划分为高、中、低，戒者再多几个级 别。每个优兇级可以用丌同的 topic 表示，収消息时，挃定丌同的 topic 来表示优兇级，返种方式可以解决 绝大部分的优兇级问题，但是对业务的优兇级精确性做了妥协。 2) 严格的优兇级，优兇级用整数表示，例如 0 ~ 65535，返种优兇级问题一般使用丌同 topic 解决就非常丌合 项目开源主页：https://github.com/alibaba/RocketMQ

目录 代码 本书的大部分章节都以可执行代码为特色，因为我们相信交互式学习体验在深度学习中的重要性。目前，某 些直觉只能通过试错、小幅调整代码并观察结果来发展。理想情况下，一个优雅的数学理论可能会精确地告 诉我们如何调整代码以达到期望的结果。不幸的是，这种优雅的理论目前还没有出现。尽管我们尽了最大努 力，但仍然缺乏对各种技术的正式解释，这既是因为描述这些模型的数学可能非常困难，也是因为对这些主 理、医疗保健和基因组学等不同领域的创新。 1.1 日常生活中的机器学习 机器学习应用在日常生活中的方方面面。现在，假设本书的作者们一起驱车去咖啡店。阿斯顿拿起一部iPhone， 对它说道：“Hey Siri！”手机的语音识别系统就被唤醒了。接着，李沐对Siri说道：“去星巴克咖啡店。”语音 识别系统就自动触发语音转文字功能，并启动地图应用程序，地图应用程序在启动后筛选了若干条路线，每 条路线都显示 称为模型（model）。通过操作参数而生成的所有不同程序（输入‐输出映射）的集合称为“模型族”。使用数 据集来选择参数的元程序被称为学习算法（learning algorithm）。 在开始用机器学习算法解决问题之前，我们必须精确地定义问题，确定输入（input）和输出（output）的性 质，并选择合适的模型族。在本例中，模型接收一段音频作为输入，然后在是或否中生成一个选择作为输出。 如果一切顺利，经过一番训练，模型对

我们的使命，Thoughtworks 技术雷达就是为了 完成这一使命。它由 Thoughtworks 中一群资深 技术领导组成的技术顾问委员会，通过定期讨论 Thoughtworks 的全球技术战略以及对行业有重 大影响的技术趋势而创建。 技术雷达以独特的形式记录技术顾问委员会的讨 论结果，从首席技术官到开发人员，雷达将会为各 路利益相关方提供价值。这些内容只是简要的总结。 我们建议您探索雷达中提到的内容以了解更多细 for GitHub Actions 试验 推荐实现 CI/CD 的零信任安全的技术之一是通过使用 OpenID Connect（OIDC）等联合身份机制对流水线进行 身份验证，以访问云服务。这一重要的技术仍未被充分利用在 GitHub Actions 中，因此推荐 OIDC for GitHub Actions。通过这种方式，可以避免存储长期的访问令牌来访问云资源，同时确保流水线无法直接访问机密信息。 建模和攻击路径分析的有益补充。 12. 大语言模型半结构化自然语言输入 试验 在使用大语言模型的各种应用中，我们在半结构化自然语言输入方面取得了成功。结构化输入，如 JSON 文档， 清晰而精确，为模型提供了所寻求响应类型的指示。以这种方式限制响应有助于缩小问题空间，并且可以产生 更准确的响应，特别是当结构符合领域特定语言（DSL）的语法或模式情况下。我们还发现，将结构化输入与 自然语

集群模式是非常普遍的模式，符合分布式架构的基本理念，即横向扩容，当前消费者如 果无法快速及时处理消息时，可以通过增加消费者的个数横向扩容，快速提高消费能力，及 时处理挤压的消息。 2. 消费队列负载算法与重平衡机制 那集群模式下，消费者是如何来分配消息的呢？ 例如上面实例中 order_topic 有 16 个队列，那一个拥有 3 个消费者的消费组如何来分 配队列中。 本文来自『中间件兴趣圈』公 在实际过程中，对主题进行扩容(增加队列个数)或者对消费者进行扩容、缩容是一件非 常寻常的事情，那如果新增一个消费者，该消费者消费哪些队列呢？这就涉及到消息消费队 列的重新分配，即消费队列重平衡机制。 在 RocketMQ 客户端中会每隔 20s 去查询当前 topic 的所有队列、消费者的个数，运 用队列负载算法进行重新分配，然后与上一次的分配结果进行对比，如果发生了变化，则进 行队列重新分配；如果没有发生变化，则忽略。 属性的过滤支持 SQL92 表达式，对消息进行过滤。 六、小结 本文的主要目的是介绍 RocketMQ 常见的术语，例如 nameserver、broker、主题、 消费组、消费者、队列负载算法、队列重平衡机制、并发消费、顺序消费、消费进度存储、 定时消息、事务消息、消息过滤等基本概念，为后续的实战系列打下坚实基础。 从下一篇开始，将正式开始 RocketMQ 之旅，开始学习消息发送。 本文来

在工业界拥有完备的解决方案和用户基础，但是 TensorFlow 2 和 TensorFlow 1.x 版本并不兼容，导致几乎所有基于 TensorFlow 1.x 开发的算法、框架等都需要修改甚至重 写，因此可以将 TensorFlow 2 视为一个全新的框架。PyTorch 得益于其精简灵活的接口设 计，可以快速搭建和调试网络模型，在学术界获得好评如潮。根据 RISELab 的统计数据 ⑤，2018 PyTorch 深度学习框架的三大核心功 能，从而帮助我们理解框架在算法设计中扮演的角色。 1) 加速计算 神经网络本质上由大量的矩阵相乘、矩阵相加等基本数学运算构成，TensorFlow 的重 要功能就是利用 GPU 方便地实现并行计算加速功能。为了演示 GPU 的加速效果，我们通 过完成多次矩阵?和矩阵?的矩阵相乘运算，并测量其平均运算时间来比对。其中矩阵?的 shape 为[1,?]，矩阵 求出方程组的精确解， 这种通过严格的公式推导出的精确解也称为解析解(Closed-form Solution)。但是对于多个数 据点(? ≫ 2)的情况，这时有可能不存在解析解，或者无法直接求解解析解，因此只能借助 数值方法去优化(Optimize)出一个近似的数值解(Numerical Solution)。为什么叫作优化？这 是因为计算机的计算速度非常快，可以借助强大的计算能力去多次“搜索”和“试错”，从

二、我国云计算发展概述 （一）国家政策指引云计算创新发展，地方积极推进企 业上云用云 随着数字化转型进程的深入，数字经济已逐渐发展成为国民经 济增长的重要驱动力，数字中国建设上升为国家重要战略目标。过 去一年，国家及地方政府陆续出台了一系列数字产业相关政策，云 计算作为新兴数字产业之一，为数字经济发展提供强有力的基础支 撑，成为“十四五”期间重点发展产业之一。 国家层面，政策指引云计算应用创新，全面推动信息产业融合 景下 构建现代化应用的最典型技术方案，但应用现代化并非单纯依靠技 术手段达成，需要完整的建设方法论，具体包含五个方面，如图 7 所示：一是应用架构现代化，依据分而治之、开放设计、统一风格 三重设计原则，通过微服务、Serverless、事件驱动和命令职权分离 等先进架构升级应用范式；二是数据架构现代化，以云原生为底座 优化数据摄取、数据存储、数据分析、数据消费、数据治理等能力， 云计算白皮书（2023 管理、运维保 障、研发测试、应用服务等方面构建通用的对上赋能的技术底座； 四是组织流程现代化，通过工作思维、管理方式、协作模式的革新， 从组织、人员层面适配现代化发展思路；五是用户体验现代化，重 视用户诉求，打通需求与供给之间的最后一公里，提升技术对应用 的直接价值。目前，华为云、道客等企业已初步形成应用现代化方 法体系。 来源：中国信息通信研究院 图 7 应用现代化架构图 架构

，因此将会获取官方镜像 library/ubuntu 仓库中标签为 16.04 的镜 像。 从下载过程中可以看到我们之前提及的分层存储的概念，镜像是由多层存储所构成。下载也 是一层层的去下载，并非单一文件。下载过程中给出了每一层的 ID 的前 12 位。并且下载结 束后，给出该镜像完整的 sha256 的摘要，以确保下载一致性。 在使用上面命令的时候，你可能会发现，你所看到的层 70fc3c48b8a Deleted: sha256:97ca462ad9eeae25941546209454496e1d66749d53dfa2ee32bf1faabd239d38 当然，更精确的是使用 镜像摘要 删除镜像。 $ docker image ls --digests REPOSITORY TAG DIGEST 除了镜像依赖以外，还需要注意的是容器对镜像的依赖。如果有用这个镜像启动的容器存在 （即使容器没有运行），那么同样不可以删除这个镜像。之前讲过，容器是以镜像为基础， 再加一层容器存储层，组成这样的多层存储结构去运行的。因此该镜像如果被这个容器所依 赖的，那么删除必然会导致故障。如果这些容器是不需要的，应该先将它们删除，然后再来 删除镜像。 删除本地镜像 64 用 docker image ls 命令来配合

部署应⽤程序的旧⽅法是使⽤操作系统的软件包管理器在主机上安装应⽤程序。这种⽅式，存在可执⾏⽂件、配置、库 和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 量级、不可移植的。 新⽅法是部署容器，容器基于操作系统级别的虚拟化⽽不是硬件虚拟化。这些容器彼此隔离并且与宿主机隔离：它们有 ⾃⼰的⽂件系统，看不到对⽅的进程，并且它们的计算资源使⽤可以被界定。它们⽐VM更容易构建，并且由于它们与 如 /api/v1/pods/some-name 。按照惯例，Kubernetes资源的名称最多可达253个字符，由⼩写字⺟、数字、 - 和 . 组 成，但某些资源有更具体的限制。有关名称的精确语法规则，详⻅： identifiers design doc 。 UID UID由Kubernetes⽣成。 在Kubernetes集群的整个⽣命周期中创建的每个对象都有不同的UID（即：它们在空间和时间 11-K8s架构及基本概念 32 Pod所期待的副本数 筛选Pod的标签选择器：RC通过Label来关联对应的Pod Pod模板：当集群中Pod的副本数量⼩于（⼤于）期望值时，K8s就会使⽤该模板去创建（删除）新的Pod。 Service Service可以简单理解成⼀组提供相同服务的Pod的对外访问⼊⼝。Service与Pod之间通过Selector来绑定。下图简单说 明了Service与Pod之间的关系

， 产 生 大 量 沟 通 成 本 传 统 安 全 检 查 编 码 和 测 试 之 后 ， 安 全 工 程 师 才 介 入 ， 如 果 发 现 问 题 ， 又 需 要 研 发 修 复 和 重 新 测 试 ， 严 重 影 响 效 率 传 统 安 全 流 程 强 调 上 线 前 解 决 一 切 问 题 ， 某 一 环 节 堵 塞 影 响 全 局 D e v O p s 效 率 。 依 赖 于 人 员 个 提升十倍，所以将安全自动化检查和问题发 现从运行态左移到研发态，将大大提高效率 和降低成本 默认安全策略，可以天然的规避大部分 安全问题，使得人员配置和沟通工作大 量减少，提高了整体效率! 安全右移是为了恰到好处的安全，一些非严 重安全问题，没有必要堵塞主研发流程，可 以交于线上安全防御系统。提高了整体实施 效率！ 安全编排自动化和响应作为连接各个环 节的桥梁，安全管理人员或者部分由 AIOps组件可以从全局视角观察，动态 调整策略，解决新问题并及时隔离或者 者提交代码时进行，将极 大优化整体效率和成本 可以无视环境随时可以进行，覆盖漏洞类型全面， 可以精确定位到代码段 路径爆炸问题，并一定与实际相符合，误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试，通过模拟业务流量发起请求，进行模糊测试，比如故障注入 或者混沌测试 语言无关性，很高的精确度。 难以覆盖复杂的交互场景，测试过程对业务造成 较大的干扰，会产生大量的报错和脏数据，所以 建议在业务低峰时进行。

边缘数据中心 客户本地机房的边缘节点或者 边缘计算盒子 粗犷上云 低时延 高弹性 强合规 云边一体纳管 高级能力-去中心化云（服务角度） 中心Region 传统公有云 去中心云 靠近的小云相似 于混合云、多云 纳管或者分布式 整体服务对等 性能、安全可控， 满足可控信息互通 的要求 • 涵盖所有云，涵盖所有业务形态 • 满足性能、安全要求 济 新纪元的到来，需要一个去中心化的云计算平台来解决 这些问题，预计到2022年，每10个字节的数据中，将有 7个字节的数据是没有数据中心的。 综合IDC、麦肯锡报告、华为报告，在2019年，全球中 心化云计算市场规模为2602亿美元，云存储市场为 491.3亿美元；而与之对应的去中心化云存储市场约30 亿美元，去中心化云计算市场约100亿美元。未来，10 年到20年，去中心化云计算、云储存市场有望实现10年 高级能力-精益化运维-云原生AIOps • 传统云原生的运维，虽然依赖于度量， 但是通过监控、日志分析、跟踪链等发 现问题根因所在周期长，依靠人的经验 （并且人的经验无法数据化沉淀），而 得到问题根因后，只能通过人工去修复 或者管理 • 而大数据或者基于监督的AI技术的成熟、 运维领域模型趋于完整、云原生底座也 更成熟的基础上，利用大数据分析根因 （关联性分析）和利用AI进行基于根因分 析的自动化处理成为可能。 •