 AGI 趋势下的云原生数据计算系统AGI趋势下的云原生数据计算系统 演讲人:徐阳 拓数派:大模型数据计算系统先行者 l 拓数派( OpenPie)是立足于国内的基础数据计 算领域高科技创新机构; l 拥有强大的数据库内核研发团队、数据科学家团 队和数字化转型团队; l 国内虚拟数仓和eMPP技术提出者,不断在数据 计算引擎方向进行创新,全面拥抱AI技术趋势。 企业介绍 云原生数据计算系统 围绕数据组织云原生计算系统, 重构数据存储和计算,一份存 重构数据存储和计算,一份存 储,多引擎数据计算,全面升 级大数据系统至大模型时代。 02 中国AGI发展趋势 中国AGI市场融资非常活跃, AGI顶级人才非常欠缺,整 个市场将长期保持快速增 长态势。 01 AIGC全生命周期管理 基于PieCloudML,为企业构 建统一的MaaS框架和AIGC开 发框架,对模型和AI Agent进 行高效管理。 03 案例分享 基于PieDataCS的用户案例实 Agent作为新的研究方向,开始受至越来越多的关注。 AI Agent成为推动AI技术革命的关键力量 云原生数据计算系统 围绕数据组织云原生计算系统,重构数据存储和计算, 一份存储,多引擎数据计算,全面升级大数据系统至大 模型时代。 02 云原生数据计算系统 大模型数据计算系统概览 • Data Sharing 技术原生支持数据要素流转 • 中国唯一全自研的Table Format技术0 码力 | 26 页 | 2.84 MB | 1 年前3 AGI 趋势下的云原生数据计算系统AGI趋势下的云原生数据计算系统 演讲人:徐阳 拓数派:大模型数据计算系统先行者 l 拓数派( OpenPie)是立足于国内的基础数据计 算领域高科技创新机构; l 拥有强大的数据库内核研发团队、数据科学家团 队和数字化转型团队; l 国内虚拟数仓和eMPP技术提出者,不断在数据 计算引擎方向进行创新,全面拥抱AI技术趋势。 企业介绍 云原生数据计算系统 围绕数据组织云原生计算系统, 重构数据存储和计算,一份存 重构数据存储和计算,一份存 储,多引擎数据计算,全面升 级大数据系统至大模型时代。 02 中国AGI发展趋势 中国AGI市场融资非常活跃, AGI顶级人才非常欠缺,整 个市场将长期保持快速增 长态势。 01 AIGC全生命周期管理 基于PieCloudML,为企业构 建统一的MaaS框架和AIGC开 发框架,对模型和AI Agent进 行高效管理。 03 案例分享 基于PieDataCS的用户案例实 Agent作为新的研究方向,开始受至越来越多的关注。 AI Agent成为推动AI技术革命的关键力量 云原生数据计算系统 围绕数据组织云原生计算系统,重构数据存储和计算, 一份存储,多引擎数据计算,全面升级大数据系统至大 模型时代。 02 云原生数据计算系统 大模型数据计算系统概览 • Data Sharing 技术原生支持数据要素流转 • 中国唯一全自研的Table Format技术0 码力 | 26 页 | 2.84 MB | 1 年前3
 兼容龙蜥的云原生大模型数据计算系统:πDataCS--πDataCS简介 兼容龙蜥的云原生大模型数据计算系统 拓数派产品市场总监 吴疆 吴疆 深耕云计算和数据库行业十余年 拓数派(Openpie)产品市场总监 毕业于清华大学计算机系,先后在IBM,EMC, Pivotal,VMWare参与多个云平台和数据库项目 01 拓数派简介 πDataCS简介 02 πDataCS与龙晰 03 01. 拓数派简介 海 外 研 发 驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统(PieDataComputing System,缩写πDataCS),以云原生技术 重构数据存储和计算,一份存储,多引擎数据计算,全面升级大数据系统至大模型时代,使得自主可 控的大模型数据计算系统保持全球领先,成为AI的基础科技底座的同时,开启AI技术的新范式。 πDataCS旨在助力企业优 云原生数仓PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023引领数据计算时代到来 3月 2023拓数派战略暨新产品发布会 重磅发布πDataCS数据计算系统首个计算引擎 PieCloudDB云原生虚拟数仓 拓数派基于阿里云构建公共云数据仓库服务 正式上线 6月 上榜 EqualOcean 2022年源自中国值 得关注的新锐全球化科技品牌0 码力 | 29 页 | 7.46 MB | 1 年前3 兼容龙蜥的云原生大模型数据计算系统:πDataCS--πDataCS简介 兼容龙蜥的云原生大模型数据计算系统 拓数派产品市场总监 吴疆 吴疆 深耕云计算和数据库行业十余年 拓数派(Openpie)产品市场总监 毕业于清华大学计算机系,先后在IBM,EMC, Pivotal,VMWare参与多个云平台和数据库项目 01 拓数派简介 πDataCS简介 02 πDataCS与龙晰 03 01. 拓数派简介 海 外 研 发 驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统(PieDataComputing System,缩写πDataCS),以云原生技术 重构数据存储和计算,一份存储,多引擎数据计算,全面升级大数据系统至大模型时代,使得自主可 控的大模型数据计算系统保持全球领先,成为AI的基础科技底座的同时,开启AI技术的新范式。 πDataCS旨在助力企业优 云原生数仓PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023引领数据计算时代到来 3月 2023拓数派战略暨新产品发布会 重磅发布πDataCS数据计算系统首个计算引擎 PieCloudDB云原生虚拟数仓 拓数派基于阿里云构建公共云数据仓库服务 正式上线 6月 上榜 EqualOcean 2022年源自中国值 得关注的新锐全球化科技品牌0 码力 | 29 页 | 7.46 MB | 1 年前3
 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum白皮书 开源 Greenplum 新篇章: 兼容欧拉开源操作系统的数据平台 支持国产生态的高级分析数据平台 作者:Greenplum 中文社区、 欧拉开源社区 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 白皮书 ........................................................................................ 4 欧拉开源操作系统 .................................................................................................. ........................................................................................ 6 欧拉开源操作系统平台架构 ..............................................................................................0 码力 | 17 页 | 2.04 MB | 1 年前3 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum白皮书 开源 Greenplum 新篇章: 兼容欧拉开源操作系统的数据平台 支持国产生态的高级分析数据平台 作者:Greenplum 中文社区、 欧拉开源社区 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 白皮书 ........................................................................................ 4 欧拉开源操作系统 .................................................................................................. ........................................................................................ 6 欧拉开源操作系统平台架构 ..............................................................................................0 码力 | 17 页 | 2.04 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.2.035 3.4.6 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 高可用类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 动态读写分离 . . . . . . . 181 相关概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 对系统的影响 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 使用限制 . . . . . . 8.1.1 JDBC 为什么配置了某个数据连接池的 spring‐boot‐starter(比如 druid)和 shardingsphere‐jdbc‐spring‐boot‐starter 时,系统启动会报错? . . . . . . . . . 421 8.1.2 JDBC 使用 Spring 命名空间时找不到 xsd? . . . . . . . . . . . . . . . . .0 码力 | 449 页 | 5.85 MB | 1 年前3 Apache ShardingSphere 中文文档 5.2.035 3.4.6 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 高可用类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 动态读写分离 . . . . . . . 181 相关概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 对系统的影响 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 使用限制 . . . . . . 8.1.1 JDBC 为什么配置了某个数据连接池的 spring‐boot‐starter(比如 druid)和 shardingsphere‐jdbc‐spring‐boot‐starter 时,系统启动会报错? . . . . . . . . . 421 8.1.2 JDBC 使用 Spring 命名空间时找不到 xsd? . . . . . . . . . . . . . . . . .0 码力 | 449 页 | 5.85 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.0.01. [JDBC] 为什么配置了某个数据连接池的 spring‐boot‐starter(比如 druid)和 shardingsphere‐jdbc‐spring‐boot‐starter 时,系统启动会报错? . . . . . . . . . 288 viii 7.7.2 2. [JDBC] 使用 Spring 命名空间时找不到 xsd? . . . . . . . . . . . . 20. [其他] 使用 SQLSever 和 PostgreSQL 时,聚合列不加别名会抛异常? . . . . 293 7.7.21 21. [其他] Oracle 数据库使用 Timestamp 类型的 Order By 语句抛出异常提示 “Order by value must implements Comparable”? . . . . . . . . . . . . . . . . 293 务质量分析、可观察性)等透明化增量功能; • 可插拔:项目采用微内核 + 三层可插拔模型,使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展,开发者能够像使用积木一样定制属于自己的独特系统。 ShardingSphere 已于 2020 年 4 月 16 日成为 Apache 软件基金会的顶级项目。欢迎通过邮件列表参与讨 论。 1.1 简介 Apache ShardingSphere0 码力 | 385 页 | 4.26 MB | 1 年前3 Apache ShardingSphere 中文文档 5.0.01. [JDBC] 为什么配置了某个数据连接池的 spring‐boot‐starter(比如 druid)和 shardingsphere‐jdbc‐spring‐boot‐starter 时,系统启动会报错? . . . . . . . . . 288 viii 7.7.2 2. [JDBC] 使用 Spring 命名空间时找不到 xsd? . . . . . . . . . . . . 20. [其他] 使用 SQLSever 和 PostgreSQL 时,聚合列不加别名会抛异常? . . . . 293 7.7.21 21. [其他] Oracle 数据库使用 Timestamp 类型的 Order By 语句抛出异常提示 “Order by value must implements Comparable”? . . . . . . . . . . . . . . . . 293 务质量分析、可观察性)等透明化增量功能; • 可插拔:项目采用微内核 + 三层可插拔模型,使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展,开发者能够像使用积木一样定制属于自己的独特系统。 ShardingSphere 已于 2020 年 4 月 16 日成为 Apache 软件基金会的顶级项目。欢迎通过邮件列表参与讨 论。 1.1 简介 Apache ShardingSphere0 码力 | 385 页 | 4.26 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.1.153 4.6.4 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 高可用类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 动态读写分离 . . . . . . 8.1 [JDBC] 为什么配置了某个数据连接池的 spring‐boot‐starter(比如 druid)和 shardingsphere‐jdbc‐spring‐boot‐starter 时,系统启动会报错? . . . . . . . . . 304 7.8.2 [JDBC] 使用 Spring 命名空间时找不到 xsd? . . . . . . . . . . . . . . . . . . . . . 307 7.8.12 [分片、PROXY] 实现 StandardShardingAlgorithm 自定义算法时,指定 了 Comparable 的具体类型为 Long, 且数据库表中字段类型为 bigint,出现 ClassCastException: Integer can not cast to Long 异常。 . . . . 307 7.8.13 [分片]0 码力 | 409 页 | 4.47 MB | 1 年前3 Apache ShardingSphere 中文文档 5.1.153 4.6.4 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 高可用类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 动态读写分离 . . . . . . 8.1 [JDBC] 为什么配置了某个数据连接池的 spring‐boot‐starter(比如 druid)和 shardingsphere‐jdbc‐spring‐boot‐starter 时,系统启动会报错? . . . . . . . . . 304 7.8.2 [JDBC] 使用 Spring 命名空间时找不到 xsd? . . . . . . . . . . . . . . . . . . . . . 307 7.8.12 [分片、PROXY] 实现 StandardShardingAlgorithm 自定义算法时,指定 了 Comparable 的具体类型为 Long, 且数据库表中字段类型为 bigint,出现 ClassCastException: Integer can not cast to Long 异常。 . . . . 307 7.8.13 [分片]0 码力 | 409 页 | 4.47 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.1.053 4.6.4 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 高可用类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 动态读写分离 . . . . . . 8.1 [JDBC] 为什么配置了某个数据连接池的 spring‐boot‐starter(比如 druid)和 shardingsphere‐jdbc‐spring‐boot‐starter 时,系统启动会报错? . . . . . . . . . 300 7.8.2 [JDBC] 使用 Spring 命名空间时找不到 xsd? . . . . . . . . . . . . . . . . . . . . . 303 7.8.12 [分片、PROXY] 实现 StandardShardingAlgorithm 自定义算法时,指定 了 Comparable 的具体类型为 Long, 且数据库表中字段类型为 bigint,出现 ClassCastException: Integer can not cast to Long 异常。 . . . . 303 7.8.13 [分片]0 码力 | 406 页 | 4.40 MB | 1 年前3 Apache ShardingSphere 中文文档 5.1.053 4.6.4 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 高可用类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 动态读写分离 . . . . . . 8.1 [JDBC] 为什么配置了某个数据连接池的 spring‐boot‐starter(比如 druid)和 shardingsphere‐jdbc‐spring‐boot‐starter 时,系统启动会报错? . . . . . . . . . 300 7.8.2 [JDBC] 使用 Spring 命名空间时找不到 xsd? . . . . . . . . . . . . . . . . . . . . . 303 7.8.12 [分片、PROXY] 实现 StandardShardingAlgorithm 自定义算法时,指定 了 Comparable 的具体类型为 Long, 且数据库表中字段类型为 bigint,出现 ClassCastException: Integer can not cast to Long 异常。 . . . . 303 7.8.13 [分片]0 码力 | 406 页 | 4.40 MB | 1 年前3
 Greenplum 精粹文集SMP(对称多处理)架构难于扩展,并且在 CPU 计算和 IO 吞吐上不 能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来,Google 的两篇著名论文 发表后引起业界的关注,一篇是关于 GFS 分布式文件系统,另外一篇 是关于 MapReduce 并行计算框架的理论,分布式计算模式在互联网 行业特别是收索引擎和分词检索等方面获得了巨大成功。 Big Date2.indd 1 16-11-22 下午3:38 横向扩展的分布式并行数据计算技术。 当时,开放的X86服务器技术已经能很好的支持商用,借助高速网络(当 时是千兆以太网)组建的 X86 集群在整体上提供的计算能力已大幅高 于传统 SMP 主机,并且成本很低,横向的扩展性还可带来系统良好 的成长性。 问 题 来 了, 在 X86 集 群 上 实 现 自 动 的 并 行 计 算, 无 论 是 后 来 的 MapReduce 计算框架还是 MPP(海量并行处理)计算框架,最终还 是需要软件来实现,Greenplum google、yahoo、ibm 和 TD),说干就干,花了一年多的时间 完成最初的版本设计和开发,用软件实现了在开放 X86 平台上的分布 式并行计算,不依赖于任何专有硬件,达到的性能却远远超过传统高 昂的专有系统。 Big Date2.indd 2 16-11-22 下午3:38 Greenplum 精粹文集 3 大家都知道 Greenplum 的数据库引擎层是基于著名的开源数据库 Post0 码力 | 64 页 | 2.73 MB | 1 年前3 Greenplum 精粹文集SMP(对称多处理)架构难于扩展,并且在 CPU 计算和 IO 吞吐上不 能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来,Google 的两篇著名论文 发表后引起业界的关注,一篇是关于 GFS 分布式文件系统,另外一篇 是关于 MapReduce 并行计算框架的理论,分布式计算模式在互联网 行业特别是收索引擎和分词检索等方面获得了巨大成功。 Big Date2.indd 1 16-11-22 下午3:38 横向扩展的分布式并行数据计算技术。 当时,开放的X86服务器技术已经能很好的支持商用,借助高速网络(当 时是千兆以太网)组建的 X86 集群在整体上提供的计算能力已大幅高 于传统 SMP 主机,并且成本很低,横向的扩展性还可带来系统良好 的成长性。 问 题 来 了, 在 X86 集 群 上 实 现 自 动 的 并 行 计 算, 无 论 是 后 来 的 MapReduce 计算框架还是 MPP(海量并行处理)计算框架,最终还 是需要软件来实现,Greenplum google、yahoo、ibm 和 TD),说干就干,花了一年多的时间 完成最初的版本设计和开发,用软件实现了在开放 X86 平台上的分布 式并行计算,不依赖于任何专有硬件,达到的性能却远远超过传统高 昂的专有系统。 Big Date2.indd 2 16-11-22 下午3:38 Greenplum 精粹文集 3 大家都知道 Greenplum 的数据库引擎层是基于著名的开源数据库 Post0 码力 | 64 页 | 2.73 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.1.254 4.6.4 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 高可用类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 动态读写分离 . . . . . . 8.1 [JDBC] 为什么配置了某个数据连接池的 spring‐boot‐starter(比如 druid)和 shardingsphere‐jdbc‐spring‐boot‐starter 时,系统启动会报错? . . . . . . . . . 316 7.8.2 [JDBC] 使用 Spring 命名空间时找不到 xsd? . . . . . . . . . . . . . . . . . . . . . 318 7.8.12 [分片、PROXY] 实现 StandardShardingAlgorithm 自定义算法时,指定 了 Comparable 的具体类型为 Long, 且数据库表中字段类型为 bigint,出现 ClassCastException: Integer can not cast to Long 异常。 . . . . 318 7.8.13 [分片]0 码力 | 446 页 | 4.67 MB | 1 年前3 Apache ShardingSphere 中文文档 5.1.254 4.6.4 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 高可用类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 动态读写分离 . . . . . . 8.1 [JDBC] 为什么配置了某个数据连接池的 spring‐boot‐starter(比如 druid)和 shardingsphere‐jdbc‐spring‐boot‐starter 时,系统启动会报错? . . . . . . . . . 316 7.8.2 [JDBC] 使用 Spring 命名空间时找不到 xsd? . . . . . . . . . . . . . . . . . . . . . 318 7.8.12 [分片、PROXY] 实现 StandardShardingAlgorithm 自定义算法时,指定 了 Comparable 的具体类型为 Long, 且数据库表中字段类型为 bigint,出现 ClassCastException: Integer can not cast to Long 异常。 . . . . 318 7.8.13 [分片]0 码力 | 446 页 | 4.67 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.0.0-alpha使用 SQLSever 和 PostgreSQL 时,聚合列不加别名会抛异常? . . . . . . . . . . . . . . 286 7.10 Oracle 数据库使用 Timestamp 类型的 Order By 语句抛出异常提示“Order by value must implements Comparable”? . . . . . . . . . . . . . . . . . 290 7.20 为什么配置了某个数据连接池的 spring‐boot‐starter(比如 druid)和 shardingsphere‐ jdbc‐spring‐boot‐starter 时,系统启动会报错? . . . . . . . . . . . . . . . . . . . . . . 291 7.21 在使用 sharing‐proxy 的时候,如何动态在 ShardingSphere‐UI 场景。 Apache ShardingSphere 旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力,而并 非实现一个全新的关系型数据库。关系型数据库当今依然占有巨大市场份额,是企业核心系统的基石,未 来也难于撼动,我们更加注重在原有基础上提供增量,而非颠覆。 Apache ShardingSphere 5.x 版本开始致力于可插拔架构,项目的功能组件能够灵活的以可插拔的方式 进0 码力 | 301 页 | 3.44 MB | 1 年前3 Apache ShardingSphere 中文文档 5.0.0-alpha使用 SQLSever 和 PostgreSQL 时,聚合列不加别名会抛异常? . . . . . . . . . . . . . . 286 7.10 Oracle 数据库使用 Timestamp 类型的 Order By 语句抛出异常提示“Order by value must implements Comparable”? . . . . . . . . . . . . . . . . . 290 7.20 为什么配置了某个数据连接池的 spring‐boot‐starter(比如 druid)和 shardingsphere‐ jdbc‐spring‐boot‐starter 时,系统启动会报错? . . . . . . . . . . . . . . . . . . . . . . 291 7.21 在使用 sharing‐proxy 的时候,如何动态在 ShardingSphere‐UI 场景。 Apache ShardingSphere 旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力,而并 非实现一个全新的关系型数据库。关系型数据库当今依然占有巨大市场份额,是企业核心系统的基石,未 来也难于撼动,我们更加注重在原有基础上提供增量,而非颠覆。 Apache ShardingSphere 5.x 版本开始致力于可插拔架构,项目的功能组件能够灵活的以可插拔的方式 进0 码力 | 301 页 | 3.44 MB | 1 年前3
共 134 条
- 1
- 2
- 3
- 4
- 5
- 6
- 14














 
 