 网易数帆 领先的数字化转型技术与服务提供商 2021协同,持续提升业务创新和数字化转型 能力的技术产品和方法体系。 业务中台解决方案 25 SOLUTIONS 方案价值 方案特色 提升数据服务效率 可实现需求交付速度、数据查找效率、数据查询能力的三重提升。 提升数据质量 实现任务数据零延迟、大幅减少研发 BUG 数量,并完成数据指标口径 的统一。 降低数据服务成本 可大幅度节约业务成本,提升整体研发业务价值。 保障业务数据安全 脱敏等 数据管理手段保障业务数据安全。 方案架构 统一数据标准 统一数据服务 统一数据资产管理 统一开发平台 业务前台 数据中心 统一查询服务 大数据基础设施(计算和储存平台) 开发套件 开发套件 开发套件 智能分析 标签系统 自助查询系统 应用数据层(ADS) 指 标 系 统 操作数据(ODS) DWD(公共明细) DWS(公共汇总) 敏捷开发平台 数据集成工具 数据地图 金融服务 治理框架 业务后台 业务后台 分布式缓存 分布式数据库 对公业务群 客户 中心 产品 中心 营销 中心 支付 中心 风险 中心 运营 中心 ... 零售业务群 互联网业务群 查询引擎 消息队列 云原生 PaaS 中间件 业务前台 API网关 CI/ CD 分布式储存 ESB 体系 规范 方法 技术 工具 SOLUTIONS 融合网易互联网技术与金融行0 码力 | 43 页 | 884.64 KB | 1 年前3 网易数帆 领先的数字化转型技术与服务提供商 2021协同,持续提升业务创新和数字化转型 能力的技术产品和方法体系。 业务中台解决方案 25 SOLUTIONS 方案价值 方案特色 提升数据服务效率 可实现需求交付速度、数据查找效率、数据查询能力的三重提升。 提升数据质量 实现任务数据零延迟、大幅减少研发 BUG 数量,并完成数据指标口径 的统一。 降低数据服务成本 可大幅度节约业务成本,提升整体研发业务价值。 保障业务数据安全 脱敏等 数据管理手段保障业务数据安全。 方案架构 统一数据标准 统一数据服务 统一数据资产管理 统一开发平台 业务前台 数据中心 统一查询服务 大数据基础设施(计算和储存平台) 开发套件 开发套件 开发套件 智能分析 标签系统 自助查询系统 应用数据层(ADS) 指 标 系 统 操作数据(ODS) DWD(公共明细) DWS(公共汇总) 敏捷开发平台 数据集成工具 数据地图 金融服务 治理框架 业务后台 业务后台 分布式缓存 分布式数据库 对公业务群 客户 中心 产品 中心 营销 中心 支付 中心 风险 中心 运营 中心 ... 零售业务群 互联网业务群 查询引擎 消息队列 云原生 PaaS 中间件 业务前台 API网关 CI/ CD 分布式储存 ESB 体系 规范 方法 技术 工具 SOLUTIONS 融合网易互联网技术与金融行0 码力 | 43 页 | 884.64 KB | 1 年前3
 2020 中国开源年度报告
项⽬进⾏简单分析。  apache/carbondata,Apache CarbonData 是⼀种新的融合存储解决⽅案,利⽤先进 的列式存储、索引、压缩和编码技术提⾼计算效率,从⽽加快查询速度,其查询速度⽐ PetaBytes 数据快⼀个数量级。  apache/incubator-teaclave,⼀个开源的通⽤安全计算平台,使对隐私敏感的数 据的计算安全且简单。  apa milvus-io/milvus,Milvus 为海量特征向量的近似最近邻搜索(ANNS)⽽设计。相⽐ Faiss 和 SPTAG 这样的算⼦库,Milvus 提供完整的向量数据更新,索引与查询框架。 Milvus 利⽤ GPU(Nvidia)进⾏索引加速与查询加速,能⼤幅提⾼单机性能。  odpi/egeria  nnstreamer/nnstreamer,NNStreamer 是⼀组 Gstreamer 插件,为采⽤神经⽹络模0 码力 | 46 页 | 4.09 MB | 1 年前3 2020 中国开源年度报告
项⽬进⾏简单分析。  apache/carbondata,Apache CarbonData 是⼀种新的融合存储解决⽅案,利⽤先进 的列式存储、索引、压缩和编码技术提⾼计算效率,从⽽加快查询速度,其查询速度⽐ PetaBytes 数据快⼀个数量级。  apache/incubator-teaclave,⼀个开源的通⽤安全计算平台,使对隐私敏感的数 据的计算安全且简单。  apa milvus-io/milvus,Milvus 为海量特征向量的近似最近邻搜索(ANNS)⽽设计。相⽐ Faiss 和 SPTAG 这样的算⼦库,Milvus 提供完整的向量数据更新,索引与查询框架。 Milvus 利⽤ GPU(Nvidia)进⾏索引加速与查询加速,能⼤幅提⾼单机性能。  odpi/egeria  nnstreamer/nnstreamer,NNStreamer 是⼀组 Gstreamer 插件,为采⽤神经⽹络模0 码力 | 46 页 | 4.09 MB | 1 年前3
 2023 中国开源开发者报告使用理念。 李彦宏称:“无论是哪家公司,都不可能靠突击几个月就能做出这样的大语 言模型。深度学习、自然语言处理,需要多年的坚持和积累,没法速成。” 长度是 Llama 1 的 2 倍,并采用了分组查询注意力机制。具体来说,Llama 2 预训练模型是在 2 万亿的 token 上训练的,微调 Chat 模型是在 100 万人类标 记数据上训练的。 7 / 87 1 1 开源开发者事件回顾 版本于 2023 年 8 月 11 日 正式发布,有超过 275 位贡献者提交了超过 4100 个优化与修复。 在 2.0.0 版本中,Apache Doris 在标准 Benchmark 数据集上盲测查询性能得到超过 10 倍的提升。 Apache Doris 2.0.0 版本正式发布 sudo-rs 是互联网安全研究小组 (ISRG) 发起的 Prossimo 项目——用 Rust 重写 sudo Bytebase Cloud 版本,提供完整的 DCM 解决方案,配备了一系列企 业级的标准能力,进化成为一个 Database DevOps 平台,管理整个数据库的 开发生命周期,一站式覆盖各种数据库的变更,查询,安全,治理场景。并于 2023 年 8 月迎来了里程碑:下载量突破了 100 万次。 Apache DolphinScheduler GitHub Star 突破 10000! 2023 年0 码力 | 87 页 | 31.99 MB | 1 年前3 2023 中国开源开发者报告使用理念。 李彦宏称:“无论是哪家公司,都不可能靠突击几个月就能做出这样的大语 言模型。深度学习、自然语言处理,需要多年的坚持和积累,没法速成。” 长度是 Llama 1 的 2 倍,并采用了分组查询注意力机制。具体来说,Llama 2 预训练模型是在 2 万亿的 token 上训练的,微调 Chat 模型是在 100 万人类标 记数据上训练的。 7 / 87 1 1 开源开发者事件回顾 版本于 2023 年 8 月 11 日 正式发布,有超过 275 位贡献者提交了超过 4100 个优化与修复。 在 2.0.0 版本中,Apache Doris 在标准 Benchmark 数据集上盲测查询性能得到超过 10 倍的提升。 Apache Doris 2.0.0 版本正式发布 sudo-rs 是互联网安全研究小组 (ISRG) 发起的 Prossimo 项目——用 Rust 重写 sudo Bytebase Cloud 版本,提供完整的 DCM 解决方案,配备了一系列企 业级的标准能力,进化成为一个 Database DevOps 平台,管理整个数据库的 开发生命周期,一站式覆盖各种数据库的变更,查询,安全,治理场景。并于 2023 年 8 月迎来了里程碑:下载量突破了 100 万次。 Apache DolphinScheduler GitHub Star 突破 10000! 2023 年0 码力 | 87 页 | 31.99 MB | 1 年前3
 2024 中国开源开发者报告以知识图谱为基础的演进 知识图谱技术是 2012 年 Google 为改善搜索引擎的质量和相关性而提出的,他能够构建并 理解实体及其之间的关系,能够整合不同来源的文档实现跨文档的实体关联,这使得知识图谱可 以对用户查询提供更加精确和语境化的回答,可以突破向量计算的瓶颈而执行多步推理、逻辑推 理。尽管有这些优势,知识图谱因其较高的构建和维护成本高,过去这几年也遭到了较多的诟病。 大模型技术的出现,为知识图谱技术 型训 练时使用的数据集包含不良的代码模式、不规范的编码风格或者过时的技术,生成的代码往往会 继承这些问题,导致质量较差。例如,模型可能生成带有潜在安全漏洞的代码(如未验证用户输 入的 SQL 查询),或使用已经被淘汰的技术框架和方法(如不安全的加密算法)。此外,训练 数据中若缺少高质量的代码示例,生成结果可能在可维护性、性能和测试性方面表现不佳。 上下文理解的局限性。大模型的代码生成通常 AWS 提供的服务,能够帮助开发者检测并修复 AI 生成代码中的安全漏洞。工具如 CodeQL 和 CodeFuse-Query 支持通过自定义查询快速定位安全隐患,并以高性能的语法和语义分析能 力提供实时反馈。这些工具不仅速度快,还支持定制化查询,并能无缝集成到开发环境和持续集 成工具链中,自动化地检查和优化生成代码的安全性与质量。此外,研究者也在探索通过形式化 验证、符号执行等技术对生成代码进行安全审查,并利用0 码力 | 111 页 | 11.44 MB | 8 月前3 2024 中国开源开发者报告以知识图谱为基础的演进 知识图谱技术是 2012 年 Google 为改善搜索引擎的质量和相关性而提出的,他能够构建并 理解实体及其之间的关系,能够整合不同来源的文档实现跨文档的实体关联,这使得知识图谱可 以对用户查询提供更加精确和语境化的回答,可以突破向量计算的瓶颈而执行多步推理、逻辑推 理。尽管有这些优势,知识图谱因其较高的构建和维护成本高,过去这几年也遭到了较多的诟病。 大模型技术的出现,为知识图谱技术 型训 练时使用的数据集包含不良的代码模式、不规范的编码风格或者过时的技术,生成的代码往往会 继承这些问题,导致质量较差。例如,模型可能生成带有潜在安全漏洞的代码(如未验证用户输 入的 SQL 查询),或使用已经被淘汰的技术框架和方法(如不安全的加密算法)。此外,训练 数据中若缺少高质量的代码示例,生成结果可能在可维护性、性能和测试性方面表现不佳。 上下文理解的局限性。大模型的代码生成通常 AWS 提供的服务,能够帮助开发者检测并修复 AI 生成代码中的安全漏洞。工具如 CodeQL 和 CodeFuse-Query 支持通过自定义查询快速定位安全隐患,并以高性能的语法和语义分析能 力提供实时反馈。这些工具不仅速度快,还支持定制化查询,并能无缝集成到开发环境和持续集 成工具链中,自动化地检查和优化生成代码的安全性与质量。此外,研究者也在探索通过形式化 验证、符号执行等技术对生成代码进行安全审查,并利用0 码力 | 111 页 | 11.44 MB | 8 月前3
 全球开源发展态势洞察(2023年第八期)44.0发布,版本特性更 新如下: • 将每次发送的默认样本数提高到2000; • 支持处理原生直方图数据; • 在命令行中添加用于检查Prometheus服务 器健康状态和可用性的功能; • 添加所有查询加载的样本总数指标。 OpenYurt v1.3.0发布 OpenYurt是由阿里云开源的基于原生Kuberne- tes构建的、业内首个对于Kubernetes非侵入式 的边缘计算项目,目标是扩展Kubernetes以无 以便进行更全面的分析和监控; • 支持对所有主机进行外部授权; • HttpProxy的条件块还增加了对精确路径匹 配条件的支持; • 支持内部重定向; • 对基于HTTPProxy资源的路由实现了HTTP 查询参数匹配功能。 Flagger v1.31.0发布 Flagger是基于Kubernetes的开源工具,用 于实现持续交付和自动化部署。它提供流量分 配管理、故障检测和回滚机制等功能,帮助开 发人员和运维团队实现高效可靠的应用程序部0 码力 | 22 页 | 1.99 MB | 1 年前3 全球开源发展态势洞察(2023年第八期)44.0发布,版本特性更 新如下: • 将每次发送的默认样本数提高到2000; • 支持处理原生直方图数据; • 在命令行中添加用于检查Prometheus服务 器健康状态和可用性的功能; • 添加所有查询加载的样本总数指标。 OpenYurt v1.3.0发布 OpenYurt是由阿里云开源的基于原生Kuberne- tes构建的、业内首个对于Kubernetes非侵入式 的边缘计算项目,目标是扩展Kubernetes以无 以便进行更全面的分析和监控; • 支持对所有主机进行外部授权; • HttpProxy的条件块还增加了对精确路径匹 配条件的支持; • 支持内部重定向; • 对基于HTTPProxy资源的路由实现了HTTP 查询参数匹配功能。 Flagger v1.31.0发布 Flagger是基于Kubernetes的开源工具,用 于实现持续交付和自动化部署。它提供流量分 配管理、故障检测和回滚机制等功能,帮助开 发人员和运维团队实现高效可靠的应用程序部0 码力 | 22 页 | 1.99 MB | 1 年前3
 2021 中国开源年度报告加速海量特征向量匹配和检索引擎。 Milvus 依托 GPU 加速,提供极速特征向量匹配以及多维度数据联合查询(特征、标签、图片、视 频、文本和语音等联合查询)功能,并且支持自动分库分表和多副本,能对接 TensorFlow、PyTorch 和 MxNet 等 AI 模型,可实现百亿特征向量的秒级查询。Milvus 于 2019 年 10 月在 GitHub 上开 源,Stars 和 Docker0 码力 | 132 页 | 14.24 MB | 1 年前3 2021 中国开源年度报告加速海量特征向量匹配和检索引擎。 Milvus 依托 GPU 加速,提供极速特征向量匹配以及多维度数据联合查询(特征、标签、图片、视 频、文本和语音等联合查询)功能,并且支持自动分库分表和多副本,能对接 TensorFlow、PyTorch 和 MxNet 等 AI 模型,可实现百亿特征向量的秒级查询。Milvus 于 2019 年 10 月在 GitHub 上开 源,Stars 和 Docker0 码力 | 132 页 | 14.24 MB | 1 年前3
 2021 中国开源年度报告加速海量特征向量 匹配和检索引擎。Milvus 依托 GPU 加速,提供极速特征向量匹配以及多维度数据联合查询(特 征、标签、图片、视频、文本和语音等联合查询)功能,并且支持自动分库分表和多副本,能对 接 TensorFlow、PyTorch 和 MxNet 等 AI 模型,可实现百亿特征向量的秒级查询。Milvus 于 2019 年 10 月在 GitHub 上开源,Stars 和 Docker0 码力 | 199 页 | 9.63 MB | 1 年前3 2021 中国开源年度报告加速海量特征向量 匹配和检索引擎。Milvus 依托 GPU 加速,提供极速特征向量匹配以及多维度数据联合查询(特 征、标签、图片、视频、文本和语音等联合查询)功能,并且支持自动分库分表和多副本,能对 接 TensorFlow、PyTorch 和 MxNet 等 AI 模型,可实现百亿特征向量的秒级查询。Milvus 于 2019 年 10 月在 GitHub 上开源,Stars 和 Docker0 码力 | 199 页 | 9.63 MB | 1 年前3
共 7 条
- 1













