L，是历史上第⼀个在词级别和字级别都全⾯超越RNN 的注意⼒语⾔模型，解决了语⾔建模上下⽂⻓度的关键问题，定义了语⾔建模的新标准；曾 与DeepMind和CMU合作研究，⾸次实现⼩样本性能逼近全监督学习的⾼效对⻬⽅法。
ii. 视觉⽅⾯。团队成员发明了MoCo，引爆了基于对⽐学习的视觉预训练范式，也是过去三年 CVPR引⽤量最⾼的⼯作；发明了ShuffleNet，最⾼效的视觉⽹络结构之⼀；主导开发了 ong-context
是实现这⼀点的基础
⸺
模型的微调⻓期不应该存在， ⽤⼾跟模型的交互历史就是最好的个性化过程，历史上每⼀代技术都是在提升
context
length。
杨植麟⾝上的标签有天才
AI
科学家、连续创业者……在这次深度访谈中，他再次证明⾃⼰是个真 正“懂”⼤模型的创业者，所以本⽂中有许多反共识的观点：杨植麟觉得微调最终会不存在， tokenizer
最后也不⼀定是必 ⾃⼰本⾝的合成数据服务。 出现这种情况的话，能源的问题也解决了，因为推理是可以分布式的。⽽且它不违背定律，本质还是 个能源守恒。只不过我把计算范式改变了，让能源能够以分布式的⽅式解决。 超级应⽤：模型的微调可能最终不存在
海外独⻆兽：Google
和抖⾳背后的搜索和推荐有很强的⻜轮效应，算法能根据⽤⼾的⾏为实时反 馈，⽤⼾体验也能不断提升。LLM
现在⽆法实时反馈⽤⼾⾏为，AI-Native
产品的⻜轮效应会是什

开源项目运营：支持开发者社区运营，促进项目生态建设。拓展 开源生态链，汇聚企业、个人、组织参与开源项目。 开源品牌推广：打造年度重大品牌活动，完善传播矩阵，培养开 源人才，链接各方资源促进开源繁荣 理事会 安全委员会 技术监督委员会 依据项目属性，选取若干家行业优秀企 业共同组成，对项目未来发展献计献策 白金捐赠人 黄金捐赠人 白银捐赠人 开源贡献人 17家 13家 20家 6家 截至2023年8月，开放原子开源基金会共有资金捐赠人58 认证 • 进出口 • 应用 • 监督管理 提出加强保护支持产权，鼓励产 学研结合等鼓励措施 推进商用密码检测认证体系建设， 明确商用密码检测机构的资质 • 科研 • 检测 规范对采用商用密码技术提供电 子认证服务的行为和资质认定 定义需要实时进口许可、出口管 制的商用密码 鼓励公民、法人和其他组织使用 规范商用密码保护网络信息安全 督促商用密码建成协作监督机制， 推进信用体系建立 条例重点规范活动与相关监督管理 条例重点规范活动与相关监督管理 强调商用密码人才培养，鼓励行 业协会等相关角色发挥作用，进 行商用密码规范的宣传教育 详细规定了相关法律责任，对 违法行为分类，制定违法行为 相对应的具体罚款金额 其他强调点 商业密码管理条例解 读（2023.05.24） 中华人民共和国个人 信 息 保 护 法 （2021.08.20） 中华人民共和国网络 安全法（2016.11.07） 中华人民共和国密码

场面”。 1 1 目录 一、开源开发者事件回顾 三、中国开发者开源新动向 二、2023 LLM 技术报告  46 | 向量数据库  47 | 数据库向量支持  48 | 大模型框架、微调  51 | 大模型训练平台与工具  53 | 编程语言  57 | 知名大模型  58 | 备案上线的中国大模型  21 | 硬核发版  26 | 热门话题  33 | 言模型。深度学习、自然语言处理，需要多年的坚持和积累，没法速成。” 长度是 Llama 1 的 2 倍，并采用了分组查询注意力机制。具体来说，Llama 2 预训练模型是在 2 万亿的 token 上训练的，微调 Chat 模型是在 100 万人类标 记数据上训练的。 7 / 87 1 1 开源开发者事件回顾 Auto-GPT 横空出世，席卷 AI 圈 “零一万物”发布 Yi 系列开源大模型 Vercel 相当于要从 “你赚你的钱我赚我的钱” 模式转变为 “我赚你赚的钱”。 Drew 表示 FSF 的成就毋庸置疑，但 FSF 没有重视起传播自由软件理念，开 发、发布和推广 CopyLeft 许可证，监督自由软件运动的健康演进——这几 个核心理念的发展，同时还分心将资源投入到了其他的闲散工作中。 OSCHINA 社区用户「王政」评论： FSF 的确有问题，但我认为问题并不在文章所说的那些点里面：根本问题

中国开源开发者报告重点聚焦大模型，本章节以大模 型 LLM 开发技术栈作为切入点，将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent，以及检索增强生成（RAG）等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 社区生态，我们使用了 对开源社区的生态评 估体系，希望通过这些数据洞察中国开源开发者在 专业模型是通用大模型和垂直领域数据、工作流的结合。这里通用大模型的基础能力是关键， 一个世界领先的通用大模型加上 RAG（搜索增强生成）行业知识库，做出的专业模型效果往往 超过开源模型加上一些垂直领域数据微调得到的行业模型。因此，专业模型虽然训练、推理成本 都较高，但考虑到较高的溢价空间，投入是值得的。 由于通用大模型的通用性，难以建立差异化壁垒，也难以形成网络效应，因此基础模型公司 的竞争将非常激烈，算力将成为长期竞争力的关键。 统内的 知识，包括生效和失效时间，知识的协作，以及便捷地为知识更新内容等。RAG 在知识维护上， 既不需要像传统 NLP 那样由人工先理解再抽取问答对，也不需要像微调（fine-tune）那样需要 非常专业的技术能力，以及微调之后的繁琐对齐（alignment）优化。所以如果客户的知识内容 45 / 111 更新比较频繁（假设每天需要追加、替换大量实时资讯内容），特别是金融证券、企业情报等场

项目的发展进行定期评估，项目能否毕业 通常由这个评估委员会通过民主投票决定 项目从基金会毕业意味着项目已经积累了一 定量的成熟用户，构建起了一个成熟、具有 创新力的开源社区，能够基本脱离基金会的 持续监督和指导，进行“自治”运营 从基金会毕业并不意味着项目和基金会脱离 关系或停止发展，基金会仍然拥有该项目的 知识产权。以Apache软件基金会为例，项目 从孵化器毕业后，将成为基金会的顶级项目 或子 须通过董事会/理事会的表决才能执行，如 基金会的资金、知识产权等资产的管理与分配及其他重大决策；2）项目管理委员会/技术监督委员会，决定开源项目能否 进入孵化流程以及能否毕业，对基金会中的项目提供技术支持与指导，确保每个项目都符合基金会的规范章程；3）运营 和执行部门，负责监督、运营、人事、章程制定等常规工作，实际执行基金的使用工作。此外，由于实际参与项目运作的 开发者在组织上相对灵活、不直接隶属 开发者在组织上相对灵活、不直接隶属于基金会本身，一般不计入在开源基金会的组织架构当中。 Apache软件基金会组织架构和各部门的运作模式 决策机构、技术监督机构以及支持团队三足鼎立 董事会 项目管理委员会 PMC 支持团队 PMC的职责为积极管理一个或多个特定社区，可以细分为IPMC（孵化器项目管理委员会） 和PPMC（Podling项目管理委员会） IPMC 统管所有孵化项目，每月收集一次孵化项 目报告，直接向董事会汇报

作，这些是⼀个 全球分布的社区所必须的条件。  由于⽆法在任何时候都达成完全共识，此时就可能需要传统⽽具有约束⼒的投票或其他协 调⽅式，以帮助消除决策障碍。  负责任的监督：ASF 治理模式以信任和授权监督为基础，让项⽬⾃治并直接向董事会提供 报告。Apache 提交者们互相帮助：相互评估提交，采⽤强制性安全措施，确保许可合规 性，以及保护 Apache 品牌和整个社区免于受到伤害。 CNCF 的项⽬和在 CNCF 内形成的新项⽬。  沙箱（sandbox）：所有的例外情况（包括拒绝）均由 TOC（全称为 Technical Oversight Committee，即技术监督委员会的缩写，主要向云原⽣社区提供技术领导）来 处理。项⽬被拒绝时，可能是“⽬前不合适”这种情况，并且可以⿎励该项⽬在解决问题后 重新申请。整个过程所需的时间并不固定。⽬前该阶段有 Artifact

建开发者社区。在社区创建时， 供应商应该向开发者解释清楚项目的管理方式、项目主管、外界可作出哪些贡献、以及项目是否由第三 方基金会（如云原生计算基金会 -CNCF 和 Apache 软件基金会）监督。除此之外，在这个阶段企业应 该进行概念验证 (PoC) 证实开源项目的行业价值与机会，主要可以通过注册用户以及下载量来作为衡量 指标。 3.2.2 成长阶段：Roadmap 策略制定及扩大社区建设—产品管理 Tiny、AliOS Things，此外还有类 Redis 存储系统 PIKA、云原生分布式数据库 ZNBase 等， 隐有成为中国开源基础软件大本营之势。 2021 年 10 月 28 日，开放原子开源基金会技术监督委员会投票通过开源项目 OpenCloudOS 进入开放 原子开源基金会孵化。 12 月 22 日，国产开源操作系统OpenCloudOS 的开源社区正式成立。腾讯、宝德、 北京初心、北京红旗、

开 发者社区。在社区创建时，供应商应该向开发者解释清楚项目的管理方式、项目主管、外界可 作出哪些贡献、以及项目是否由第三方基金会（如云原生计算基金会-CNCF 和 Apache 软件 基金会）监督。除此之外，在这个阶段企业应该进行概念验证 (PoC) 证实开源项目的行业价值 与机会，主要可以通过注册用户以及下载量来作为衡量指标。 In the early stages of a project has become the home of Chinese open source infrastructure software. 2021 年 10 月 28 日，开放原子开源基金会技术监督委员会投票通过开源项目 OpenCloudOS 进入开放原子开源基金会孵化。 12 月 22 日，国产开源操作系统 OpenCloudOS 的开源社区正式成立。腾讯、宝德、北京初心、北京红旗、飞腾、浪潮、龙

重大事件 全球开源态势洞察｜第十期 15 全球开源态势洞察｜第十期 16 开源软件国家情报报告-捷克 内容概要 参与者 政策制定者 07 开源报告 直到2023年，捷克的内政部是负责发展和监督捷克开源软件的中央机构，同时，是其通过电子政务 举措实现地区办事处和市政当局数字化工作的一部分，内政部希望以此来提高捷克公共管理绩效。自 2021年以来，捷克内政部与非政府组织开放城市（Otevrena