Moonshot AI 介绍史上每⼀代技术都是在提升contextlength。 杨植麟⾝上的标签有天才AI科学家、连续创业者……在这次深度访谈中,他再次证明⾃⼰是个真 正“懂”⼤模型的创业者,所以本⽂中有许多反共识的观点:杨植麟觉得微调最终会不存在, tokenizer最后也不⼀定是必须的;硅⾕⼤模型训练者们担⼼数据瓶颈和能源限制,他反⽽觉得所有问 题都是互相关联的,多模态可以缓解数据短缺,合成数据则可以通过改变计算范式解决能源问题。 经在做auto-regressive的多模态、losslesslong-context了,但它们都是最近⼀两个⽉才变得⾮常 ⽕,甚⾄即使今天,losslesslong-context仍然不是⼀个共识。但如果今天才看到这个事情,已经没 有⾜够多的时间去迭代,最后会变成跟随者。 第⼆点是能够很深刻的理解AI-Native产品的开发⽅式,然后基于新的⽣产⽅式适配⼀套组织。以前做 产品是通过 杨植麟:是的,我觉得这个是⾮常好的理解。 ⽐如我们可以去看Transformer是怎么产⽣出来。它本质上是Google给这帮⼈提供了⼀个涌现的环 境。在Transformer出现之前,已经存在像注意⼒机制、残差⽹络、LayerNome这样的技术,有 SGD这些训练的基础配套,然后有learningrateschedule,就是所有的东西都提前准备好了。 然后这个时候Google0 码力 | 74 页 | 1.64 MB | 1 年前3
清华大学 普通人如何抓住DeepSeek红利会现象(如极化和错误信息传播)中的表现,特别 是引入偏误信息后的意见动态变化。使用大模型模 拟多个虚拟代理,讨论“气候变暖”、“转基因食 品的安全性”和“疫苗的有效性和安全性”三个具 有科学共识的话题。 实验一在无偏误信息条件下,代理通过社交网络进 行每日对话,记录最终信念状态和信息传播路径。 实验二改变初始信念分布,探讨初始条件对结果的 影响。实验三引入10%代理发布的偏误信息,观察 194699条对话。 50个智能体的在线社区模拟仿真 场景3:多智能体在线社区模拟 p 为了观测偏误信息加入后50个代理意 见动态的具体呈现,研究通过依存关系 构造三个科学共识的语义图谱,并和无 偏误状态进行对比。对每个科学共识议 题,选择图中最有代表性的40个实体 (基于节点的度)。 p 在自然语言处理中,依存关系是用于描 述句子中词与词之间的关系,帮助揭示 句子的句法结构。包括nsubj(名词性 表达感受,避免指责 • 示例:用“我”语句表达,“我感到担心,因为我 希望孩子能有更多的自由去探索。” 3.倾听对方的观点,寻找共同点 • 示例:问婆婆,“您是怎么想的?为什么觉得这样 更好?” 4.寻求共识,提出妥协方案 • 示例:提出,“我们可以尝试结合我们的方法,找 到一个平衡点。” 5.设定界限,明确尊重的重要性 • 示例:温和但坚定地说,“我理解您的用心,但我 希望我们能互相尊重。” 对话技巧0 码力 | 65 页 | 4.47 MB | 8 月前3
人工智能安全治理框架 1.0推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方,就人工 智能安全治理达成共识、协调一致,有效防范化解人工智能安全风险,制定本 框架。 1. 人工智能安全治理原则 秉持共同、综合、合作、可持续的安全观,坚持发展和安全并重,以促 进人工智能创新发展为第一要务,以有效防范化解人工智能安全风险为出发点 和落脚点,构建各方共同参与、技管结合、分工协作的治理机制,压实相关主 体安全责任,打造全过程全要素治理链条,培育安全、可靠、公平、透明的人 应用生态链,明确模型算法研发者、服务提供者、使用者等相关主体的安全责 任,有机发挥政府监管、行业自律、社会监督等治理机制作用。 1.4 开放合作、共治共享。在全球范围推动人工智能安全治理国际合作, 共享最佳实践,提倡建立开放性平台,通过跨学科、跨领域、跨地区、跨国界 的对话和合作,推动形成具有广泛共识的全球人工智能治理体系。 2. 人工智能安全治理框架构成 基于风险管理理念,本框架针对不同类型的人工智能安全风险,从技术、 在不良内容,在模型安全防护 机制不完善的情况下,有可能输出违法有害内容。 (b)混淆事实、误导用户、绕过鉴权的风险。人工智能系统及输出内容 等未经标识,导致用户难以识别交互对象及生成内容来源是否为人工智能系统, 难以鉴别生成内容的真实性,影响用户判断,导致误解。同时,人工智能生成 图片、音频、视频等高仿真内容,可能绕过现有人脸识别、语音识别等身份认 证机制,导致认证鉴权失效。 (c)0 码力 | 20 页 | 3.79 MB | 1 月前3
中国开源软件产业研究报告www.iresearch.com.cn 来源:艾瑞咨询研究院自主研究及绘制。 中国开源软件产业发展阻碍 开源是一种建立在信任和共识上的发展机制,为这种机制创 设有序、有活力的环境,是推动我国开源产业发展的关键 中国发展开源软件产业主要面临着技术、组织、产业和文化方面的一些阻碍因素,分别表现为基础技术偏薄弱、缺乏开源 基金会一类的组织、开 事业的非盈利性质的法人,需要遵守《基金会管理条例规 定》,并在民政部门登记后才能开始运作。相比于企业,基金会的首要目的并非盈利,而是实现社会目的;相比于政府, 基金会是独立决策的法人,治理结构与运作机制均存在市场化特点。近年来我国基金会数量、慈善资金规模都位于稳步增 长区间,从组织性质的可行性来看,开源基金会的成立于我国现有的基金会制度并不违背,但具备良好政府关系的组织在 申请成立开源基金会的过程中可能更为顺利。 共5条,主要强 调项目的开源 属性,代码的 可靠性 以及可 获得性 共5条,强调软 件项目的安全 性、兼容性 以 及对错误的响 应和修复机制 共5条,强调项 目的发布过程 可靠并便于获 取 共5条,强调项 目遵循Apache 开源许可证 , 并具备可靠的 版权约定 代码 独立 共识 许可证 发布 质量 社区 共7条,强调项 目具备 公平、 公开、友好、 有价值 、扁平 化运营的社区 共2条,强调项0 码力 | 68 页 | 3.63 MB | 1 年前3
2021 中国开源年度报告本章内容由云启资本投资团队撰写,主要内容包括 : 开源软件商业化成功的底层驱动因素 开源软件公司的可能商业化路径 开源项目投资人判断标准以及案例分享 2 开源软件商业化成功的底层驱动因素 近年来,开源软件商业化的成功已经成为共识。不论是相关公司在二级市场上持续走高的 市值,又或是一级市场上资本的不断涌入,都显示着开源软件商业化模式正得到越来越广 泛的认可。 marketing@yunqi.vc 2021 中国开源年度报告 到 2025 年,主营业务收入达百亿级企业过百家,千亿级企业超过 15 家。建设 2-3 个有国际影响力 的开源社区,培育超过 10 个优质开源项目。高水平建成 20 家中国软件名园。软件市场化定价机制进 一步完善。建成一批国家特色化示范性软件学院。国际交流合作全面深化。 ● 在主要任务上,努力繁荣国内开源生态。大力发展国内开源基金会等开源组织,完善开源软件治理规则, 普及开源软件文化 2035 年)》、《“十四五”国家知识产权保护和运用规划》等国家政策文件。 ● 浙江省发布全国首个《开源社区知识产权管理规则指引 ( 试行 )》,共十二条,包括管理原则、管理平台、 社区组成、约束机制、协同研发、软件管理、专利管理、商标管理、风险管理等方面,提出了合法正当、 创新引领、应用先导、发展优先以及数据安全的管理原则。 ● 深圳中院判决国内首个明确 GPL-3.0 协议法律性质的案例,判定0 码力 | 132 页 | 14.24 MB | 1 年前3
2020 中国开源年度报告
部分⼈的⽐例提升。 5.8 开源软件安全 有近七成的参与者表示不会有不安全感,但同时也仍有 25% 的参与者表示会有此类担忧,开 源软件的安全问题仍然值得我们关注。 【专家点评】 红薯:开源软件由于其机制的关系,通过开源社区不断地发现问题并维护,其安全问题可能并 不是开发者们的主要关注点。其实除了技术⽅⾯的安全问题,开源合规性等许可证⽅⾯的安全 问题同样需要开发者们重视,许可证冲突问题所带来的法律⻛险影响⾮常⼤且很难被发现,尤 开源生态制高点着眼,建设和发展 中国开源基金会意义重大。通过中国开源基金会的发展壮大,不断鼓励国内巨头科技企业和社 会力量合力共建开源创新生态环境;同时,通过学习借鉴更完善的基金会运行模式、组织机制 和法律制度,建设可持续发展的中国开源创新力量。此外,在当前全球开源商业模式越来越成 熟的市场环境下,建设开源基金会,还可以引导国内外基金和投资机构孵化支持开源,培育中 国开源『独角兽』,最终 打磨。⻜桨作为我国最早开源、功能最为完备的深度学习平台,⼀直秉持开放透明的理念进⾏ 开源开发。⻜桨结合 AI 产业发展需要,在框架整体设计以及全流程开发⼯具⽅⾯保持了前瞻 性整体设计,保持对⼯程质量的极致追求,并通过社区机制进⾏质量的有效保障,凭借项⽬质 量在⼴⼤ AI 开发者中形成了良好的⼝碑。 ⻜桨⼀直⾮常关注开发者对社区的贡献和认同感。⻜桨⽬前除了已经有 5,000 多位开源开发 者通过 PR 或者提 issue0 码力 | 46 页 | 4.09 MB | 1 年前3
清华大学 DeepSeek+DeepResearch 让科研像聊天一样简单图示(如文献关键词共现图)直观展示综述内容,帮助 用户更好理解和呈现研究成果。 无数据检索:以现有真实数据库作为支撑,通过关键词 检索,自动搜集相关文献并生成综述报告,目前只支持 英文检索。 低重复率:结合现有查重机制与AI技术,在内容生成阶 段引入重复检测与优化策略,从源头上降低重复率风险, 所生成的综述普通重复率与AIGC重复率均在5%以下。 无限双语数据导入:支持中文与英文文献的导入,并且 文献数 集到的信息来创建文章大纲。 转化文献为连贯文章:可以将现有的文献资料进行分析 和整合,转化为逻辑连贯的新文章,为学者和知识工作 者提供了极大的便利。 多智能体协作对话:Co-STORM模式引入了协作对话 机制,并采用轮次管理策略,实现流畅的协作式AI学术 研究。 用户体验对比:使用步骤 PubScholar平台官网:https://pubscholar.cn/ 输入关键词:进入官网后,在搜索框键入关键词进行文献检索。 现高效计算和推理。DeepSeek通过 无辅助损失的自然负载均衡和共享专 家机制,解决了专家模块工作量不平 衡的问题。 混合专家(MoE)架构 通过低秩压缩减少推理时的内存占用, 同时保持与传统多头注意力(MHA) 相当的性能。MLA在训练中减少了 内存和计算开销,在推理中降低了 KV缓存占用空间。 多头潜在注意力(MLA)机制 通过序列化预测未来多个令牌,增强 模型的上下文建模能力,并支持推测0 码力 | 85 页 | 8.31 MB | 8 月前3
2023 中国开源开发者报告李彦宏称:“无论是哪家公司,都不可能靠突击几个月就能做出这样的大语 言模型。深度学习、自然语言处理,需要多年的坚持和积累,没法速成。” 长度是 Llama 1 的 2 倍,并采用了分组查询注意力机制。具体来说,Llama 2 预训练模型是在 2 万亿的 token 上训练的,微调 Chat 模型是在 100 万人类标 记数据上训练的。 7 / 87 1 1 开源开发者事件回顾 Auto-GPT ChatGPT 开源替代品 开源和基于 API 的分发之间的摩擦是生成式 AI 生态中极为迫切的矛盾。 比如在从文本到图像领域,Stable Diffusion 的发布清楚地表明开源是基础 模型的可行分发机制。不过在大型语言模型 (LLM) 领域却并非如此,这些 模型只能通过 API 获取。并且这些模型的开源替代品没有表现出相同水平 的性能,特别是在它们遵循人类指令的能力方面。 然而,一项意想不到的研 Twitter 公司在 GitHub 上发布了 两 个 仓 库 (main repo 、 ml repo),其中涵盖了推荐算法在 内的许多推特源代码,包括用来控制用户在 For You 时间线上看到的推文 的机制。 文章结尾写道:将世界划分为相互竞争的开源阵营将标志着自由贸易的又一次 倒退。这也是对 “天下没有免费的午餐” 这句古老格言的可悲注脚。 锐评: 开源无国界,但是开源软件相关公司是有国界的。开源因为贸易战而沦为打击经0 码力 | 87 页 | 31.99 MB | 1 年前3
2024 中国开源开发者报告Chat 和阿里自家的百炼平台中,极大促进了全球开发者的交流和协 作,形成了国际化开源生态。 北京智源研究院和上海人工智能实验室等研究机构,通过与企业和高校合作及开源平台的建 设,建立了更完善的协作机制,从而在开源模型 (如 InternLM) 和数据集 (如 Infinity-MM) 领 域贡献了大量有影响力的基础工作和资源。 2024 年,中国开源社区涌现出众多高质量的自发研究成果。其中,MAP 则作为中国模型在国际开源社区的 2024 年首秀,一经发 布便获得了广泛关注,为中国模型在全球开源生态中赢得了更多认可。 平衡发展与合规创新 中国在推动人工智能技术发展的同时,也在监管层面努力建立了完善、透明的治理机制。这 种监管创新为开源模型的发展提供了稳定的政策环境,同时确保技术应用符合社会价值导向。比 如 《人工智能示范法 2.0(专家建议稿)》对于免费且已开源方式提供人工智能研发的个人和 组织给予减 模型在训练过程中被植入了特定的样本或算法,以避免讨论特定 53 / 111 的人名。虽然后续的一系列测试表明,这种限制似乎只存在于 ChatGPT 产品中,通过 OpenAI 对外提供的模型接口并不会触发这样的屏蔽机制。 OpenAI 在随后周二(12 月 3 日)立即确认“David Mayer”这个名字已经被内部隐私工 具标记,其在一份声明中说:“可能有些情况下,ChatGPT 不提供关于人们的某些信息,以保0 码力 | 111 页 | 11.44 MB | 8 月前3
2021 中国开源年度报告Underlying Drivers of Successful Commercialization of Open Source Software 近年来,开源软件商业化的成功已经成为共识。不论是相关公司在二级市场上持续走高的市值, 又或是一级市场上资本的不断涌入,都显示着开源软件商业化模式正得到越来越广泛的认可。 In recent years, the success of 2025 年,主营业务收入达百亿级企业过百家,千亿级企业超过 15 家。建 设 2-3 个有国际影响力的开源社区,培育超过 10 个优质开源项目。高水平建成 20 家中国 软件名园。软件市场化定价机制进一步完善。建成一批国家特色化示范性软件学院。国际 交流合作全面深化。 On development goals, the Plan points out that ecological cultivation and other national policy documents. 浙江省发布全国首个《开源社区知识产权管理规则指引(试行)》,共十二条,包括管理原 则、管理平台、社区组成、约束机制、协同研发、软件管理、专利管理、商标管理、风险 管理等方面,提出了合法正当、创新引领、应用先导、发展优先以及数据安全的管理原 则。 Zhejiang Province issued the0 码力 | 199 页 | 9.63 MB | 1 年前3
共 45 条
- 1
- 2
- 3
- 4
- 5













