从十到千，响应团队规模的敏捷与DevOps实践-冯斌

. . . . . . . 6 2.1.2 Claude . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.1.3 通义千问 . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 图像 . . . . . . . . . . . . . . . . . 供辅助，包括聊天机器人、写作辅助、信息查询等。 2.1.2 Claude Claude 是 Anthropic 公司开发的一系列大型语言模型，它设计用于执行多种涉 及语言、推理、分析和编码的任务。 2.1.3 通义千问 通义千问（Qwen）是阿里云开发的一系列预训练的大型语言模型，用于聊天、 生成内容、提取信息、总结、翻译、编码、解决数学问题等多种任务。这些模型 在多种语言数据上进行预训练，包括中文和英文，覆盖广泛的领域。 个人知识库， 太香了！ 5.2 docker 下载 MaxKB MaxKB 是一个在本地搭建自己本地知识库问答的系统。主要优势： 1. 开箱即用 27 2. 支持 GPT、百度千帆、Lama3，通义千问等几十种大语言模型 3. 操作界面简介，小白也能快速上手 根据教程章节本地部署 AI 后端，安装完 docker 后，执行下面命令获取到 MaxKB 的镜像到本地，如下图 30所示：

GNU 通用公共 许可证(GNU General Public License, GPL)。 小提示 更 多 关 于 Richard Stallman 和 GNU 项 目 的 内 容 ， 请 访 问 ： http://en.wikipedia.org/wiki/Richard_stallman Copyleft 与 Copyright 相对应，它来源于英语中 left 和 right 有“左”和“右”这 Linux 开放源代码： • 可以被任何人获取和使用 • 可以根据个人的要求和所使用的平台定制 • 可以自由地以当前或修改的形式重新发布 最开始，Linux 是技术性非常强的开发工具。但是随着成千上万的开发者加入到改进 它的行列，为它的发展做出贡献，对于用户它变得越来越友好。于是现在有数百种商 业和非商业的为日常使用设计的发行版。 1998年 ，Jon "maddog" Hall 、Larry 个 小 组 工 作 最 坚 实 的 基 础 。 这 个 小 组 得 到 了 http://no-name-yet.com 的赞助，开始运作。 四年多一点的时间里，Ubuntu 迅速发展，拥有了一个上千人的社区，和超过 800 万 的用户(2007年6月)。 Canonical 是 Ubuntu 的商业赞助者。 教员注记： 如果学生对 Mark Shuttleworth 感兴趣，想了解更多的信息，请展示下面的内容。

当时，开放的X86服务器技术已经能很好的支持商用，借助高速网络（当 时是千兆以太网）组建的 X86 集群在整体上提供的计算能力已大幅高 于传统 SMP 主机，并且成本很低，横向的扩展性还可带来系统良好 的成长性。 问 题 来 了， 在 X86 集 群 上 实 现 自 动 的 并 行 计 算， 无 论 是 后 来 的 MapReduce 计算框架还是 MPP（海量并行处理）计算框架，最终还 是需要软件来实现，Greenplum Greenplum 集群架构 Big Date2.indd 3 16-11-22 下午3:38 4 2. Greenplum 为什么选择 Postgreeql 做轮子 说到这，也许有同学会问，为什么 Greenplum 要基于 Postgresql? 这个问题大致引申出两个问题： 1) 为什么不从数据库底层进行重新设计研发？ 所谓术业有专攻，就像制造跑车的不会亲自生产车轮一样，我们只 相比之下，Greenplum 更强悍，把 Postgresql 作为实例（该实例非 Oracle实例概念，这里指的是一个分布式子库架构在Interconnect下）， 在 Interconnect 的指挥协调下，数十个甚至数千个 Sub Postgresql 数 据库实例同时开展并行计算。而且，这些 Postgresql 之间采用 share- nothing 无共享架构，从而更将这种并行计算能力发挥到极致，除此之 外，MPP

型，更多的模型处理层级，以及更多的业务。在这样的需求背景下，老框架开始出现 了一些局限性，主要包括以下三个层面： 6 > 美团 2020 技术年货 ● 性能瓶颈：核心层的模型预估的 Size 扩展到数千级别文档的时候，单机已经 难以承载；近百万个特征值的传输开销已经难以承受。 ● 复用困难：模型预估能力已经成为一个通用的需求，单搜索就有几十个场景都 需要该能力；而老逻辑的业务耦合性让复用变得更加困难。 Augur，该框架指导思路是： ● 业务解耦，设定框架边界：只做特征抽取和模型预估，对预估结果的处理等业 务逻辑交给上层处理。 算法 < 7 ● 无状态，且可以做到分布式模型预估，无压力支持数千级别文档数的深度模型 预估。 架构上的改变，让 Augur 具备了复用的基础能力，同时也拥有了分布式预估的能力。 可惜，系统架构设计中没有“银弹”：虽然系统具有了良好的弹性，但为此我们也付 出了一些代价，我们会在文末进行解释。 100%，提高了资源的利用率。 4.2.2 预估的性能及表达式的开销 框架的优势：得益于分布式，纯异步流程，以及在特征 OP 内部做的各类优化（公用 特征 、RPC 聚合等），从老框架迁移到 Augur 后，上千份文档的深度模型预估性能 提升了一倍。 至于大家关心的表达式解析对对于性能的影响其实可以忽略。因为这个模型预估的耗 时瓶颈主要在于原始特征的抽取性能（也就是特征存储的性能）以及预估服务的性能 （也就是

Issue 解决 和 PR 处理数量上的差异，反映了它 们在开发活跃度、社区参与度和 技术成熟度上的不同战略。 技术大厂主导的项目往往具有较 高的资源投入和社区管理效率， 而民间组织则可能更注重技术问 题的快速解决，并逐步吸引更多 的开发者参与贡献。 OpenHarmony openEuler openKylin MindSpore openGauss Ascend dromara Compass Insight 本部分图表仅用于数据展示，不涉及先后排名 稳健性-活跃度 作为 AI 开发生态中的关键组 成部分，本部分图表中的开发 框架、大模型及相关工具在活 跃度的表现各有千秋。 如应用开发平台 Dify 受行业 技术更新影响较小，其活跃度 始终保持着较高水平；而大语 言模型 MOSS 则较易受技术 更新影响，活跃度随时间整体 呈下滑趋势。 18 / 111 OSS 领域占据更为核心的地位。 开源生态的繁荣与协作 随着开源模型影响力的提高，中国开源社区的活跃度也明显提升。无论是企业、研究机构还 是个体开发者都更加积极地参与到开源工作中。 以阿里巴巴的通义千问 Qwen 为例，据不完全统计，截止 2024 年 9 月，全球已有近 8 万基于 Qwen 的衍生模型，超越了 Meta 的 Llama。该系列模型已被集成到 Hugging Face Transformers、Hugging

Prediction 和 KDD Cup 2020 Debias- ing 比赛。二者任务都是面向用户下一次点击预估问题，但因为应用场景与背景的不 同，存在着不同的挑战：前者的数据规模庞大，涉及到数亿个用户在千级别数量异构 站点上的数十亿条浏览记录，对模型优化、融合有着严格的要求；后者则尤为关注推 荐系统中的偏差问题，要求参赛选手提出有效的解决方案，来缓解选择性偏差以及流 行度偏差，从而提高推荐系统的公平性。本节将分别介绍这两场比赛。 网页内容发现平台上，预估用户下一次点击 网页广告，具体参考：Kaggle Outbrain 比赛介绍详情 [26]。参赛选手会面对以下两个 重要挑战： ● 异构性：平台提供需求方平台（DSP）广告投放服务，涉及到用户在数千个异 质站点上的行为刻画。 ● 超高维稀疏性：特征高维稀疏，数据规模庞大，包含了 7 亿个用户、20 亿次 浏览记录。 基于多层级多因子的模型融合方案：针对本次赛题的挑战，我们队采用了基于多层级 样本集的自动化特征工程，以及使用流行度加权的损失函数 进行消除流行度偏差的建模。自动化特征工程中包含了商品多模态信息的刻画，这类 信息能够反应商品在热度信息以外的竞争关系，能够一定程度上缓解流行度偏差问 题。而流行度加权的损失函数定义如下： 算法 < 43 其中，参数 α 与流行度成反比，来削弱流行商品的权重，从而消除流行度偏差。参 数 β 是正样本权重，用于解决样本不平衡问题。 第四个阶段首先将

领域的野心和 决心，它首次把当时世人能想到最有价值又可行的 LLM 应用场景——“智能对话+联网搜索”——无缝整合了起来， 大有干掉搜索行业和问答社区的趋势，而后事实证明，全 球 最 强 IT 问 答 社 区 Stack OverFlow 深 受 其 害 。 Google 紧随其后推出 Bard，作为其首次亮相的对话 LLM 产品，无疑具有其里程碑意义，尽管它的首秀并不尽 如人意，车翻了又翻。 AI 模型的协作系统。该系统由 LLM（大语言模型）作为控制器和 许多 AI 模型作为协作执行者（来自 HuggingFace Hub）组成。 7 月 13 日，京东全面推出京东言犀大模型， 服务千行百业，拥抱产业智能。言犀大模型 融合了 70%的通用数据与 30%京东数智供 应链原生数据，致力于面向知识密集型、任 务型产业场景，解决真实产业问题。 2023 年 6 月，百度智能云推出了基于大模型的 在历时约 5 个小时 后，阿里云宣布受影响云产品均已恢复。 特邀评论员——冯若航，Pigsty 作者/磐吉云数创始人 根据海恩法则，一次严重故障的背后有几十次轻微事故，几百起未遂先兆，以及 上千条事故隐患。 去年十二月阿里云香港机房的大故障已经暴露出来许多问题，然而一年后又给了 用户一个更大的惊喜（吓！）。这样的事故对于阿里云的品牌形象绝对是致命打 击，甚至对整个行业的声誉都有严重的损害。

GNU 通用公共 许可证(GNU General Public License, GPL)。 小提示 更 多 关 于 Richard Stallman 和 GNU 项 目 的 内 容 ， 请 访 问：http://en.wikipedia.org/wiki/Richard_stallman Copyleft 与 Copyright 相对应，它来源于英语中 left 和 right 有“左”和“右”这 Linux 开放源代码： • 可以被任何人获取和使用 • 可以根据个人的要求和所使用的平台定制 • 可以自由地以当前或修改的形式重新发布 最开始，Linux 是技术性非常强的开发工具。但是随着成千上万的开发者加入到改进 它的行列，为它的发展做出贡献，对于用户它变得越来越友好。于是现在有数百种商 业和非商业的为日常使用设计的发行版。 1998年 ，Jon "maddog" Hall 、Larry 个 小 组 工 作 最 坚 实 的 基 础 。 这 个 小 组 得 到 了 http://no-name-yet.com 的赞助，开始运作。 四年多一点的时间里，Ubuntu 迅速发展，拥有了一个上千人的社区，和超过 800 万 的用户(2007年6月)。 Canonical 是 Ubuntu 的商业赞助者。 教员注记： 如果学生对 Mark Shuttleworth 感兴趣，想了解更多的信息，请展示下面的内容。