 Hadoop 迁移到阿里云MaxCompute 技术方案Agent 迁移 Meta 和数据 ................................................................ 32 6.4.3 方案 B:使用 Dataworks 服务迁移 Meta 和数据 ............................................................ 37 6.5 作业迁移 据映射为二维表 支持 Partition、Bucket 的分区、分桶存储 更底层不是 HDFS,是阿里自研的盘古文件系统,但可借 助 HDFS 理解对应的表之下文件的体系结构、任务并发 机制 使用时,存储与计算解耦,不需要仅仅为了存储扩大不必 要的计算资源 SQL MaxCompute SQL TPC-DS 100% 支持,同时语法高度兼容 Hive,有 Hive 背景开发者直接上手,特别在大数据规模下性能强大。 MaxCompute 产品的交互式查询服务,特性如下: 兼容 PostgreSQL:兼容 PostgreSQL 协议的 JDBC/ODBC 接口,所有支持 PostgreSQL 数据库的工 具或应用使用默认驱动都可以轻松地连接到 MaxCompute 项目。支持主流 BI 及 SQL 客户端工具的 连接访问,如 Tableau、帆软 BI、Navicat、SQL Workbench/J 等。0 码力 | 59 页 | 4.33 MB | 1 年前3 Hadoop 迁移到阿里云MaxCompute 技术方案Agent 迁移 Meta 和数据 ................................................................ 32 6.4.3 方案 B:使用 Dataworks 服务迁移 Meta 和数据 ............................................................ 37 6.5 作业迁移 据映射为二维表 支持 Partition、Bucket 的分区、分桶存储 更底层不是 HDFS,是阿里自研的盘古文件系统,但可借 助 HDFS 理解对应的表之下文件的体系结构、任务并发 机制 使用时,存储与计算解耦,不需要仅仅为了存储扩大不必 要的计算资源 SQL MaxCompute SQL TPC-DS 100% 支持,同时语法高度兼容 Hive,有 Hive 背景开发者直接上手,特别在大数据规模下性能强大。 MaxCompute 产品的交互式查询服务,特性如下: 兼容 PostgreSQL:兼容 PostgreSQL 协议的 JDBC/ODBC 接口,所有支持 PostgreSQL 数据库的工 具或应用使用默认驱动都可以轻松地连接到 MaxCompute 项目。支持主流 BI 及 SQL 客户端工具的 连接访问,如 Tableau、帆软 BI、Navicat、SQL Workbench/J 等。0 码力 | 59 页 | 4.33 MB | 1 年前3
 Guía Práctica de RISC-V:
El Atlas de una Arquitectura Abierta
Primera Edición, 1.0.5Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 7.2 Comparando RV32GC, Thumb-2, microMIPS y x86-32 . . . . . . . . . . . . 70 7.3 Observaciones Finales . . . . . . . . . . . . . . . . . . 95 9.7 Tamaños del programa relativos para RV64G, ARM-64 y x86-64 versus RV64GC. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 9.8 Código RV64I para INTRODUCCIÓN AL DISEÑO DEL ISA 9 1 1.37 0.99 1.34 1.26 0 0.2 0.4 0.6 0.8 1 1.2 1.4 RISC-V RV32GC (16b & 32b) RISC-V RV32G (32b) ARM Thumb20 码力 | 217 页 | 29.97 MB | 1 年前3 Guía Práctica de RISC-V:
El Atlas de una Arquitectura Abierta
Primera Edición, 1.0.5Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 7.2 Comparando RV32GC, Thumb-2, microMIPS y x86-32 . . . . . . . . . . . . 70 7.3 Observaciones Finales . . . . . . . . . . . . . . . . . . 95 9.7 Tamaños del programa relativos para RV64G, ARM-64 y x86-64 versus RV64GC. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 9.8 Código RV64I para INTRODUCCIÓN AL DISEÑO DEL ISA 9 1 1.37 0.99 1.34 1.26 0 0.2 0.4 0.6 0.8 1 1.2 1.4 RISC-V RV32GC (16b & 32b) RISC-V RV32G (32b) ARM Thumb20 码力 | 217 页 | 29.97 MB | 1 年前3
 Curve核心组件之mds – 网易数帆通过结合curve的用户系统,LogicalPool可以通过配置限定特定user使用的方式,实现多个租户数据物理 隔离(待开发)。TOPOLOGY Topology的实际例子,右侧是topo配置文件: 集群有一个物理pool,由3个zone组成,每个zone有1台server。 在物理pool上,还创建了一个逻辑pool,逻辑pool使用3个zone,采用 3副本,有100个copyset。 cluster 存储系统的核心问题,也是 curve 是否能上生产环境的决定因素之一。 • 自动容错保证常见异常(如坏盘、机器宕机)导致的数据丢失不依赖人工处理,可 以自动修复。 • 负载均衡和资源均衡保证集群中的磁盘、cpu、内存等资源的利用率最大化。SCHEDULE Schdedule的具体实现 Coordinator: 调度模块的对外接口。心跳会将 chunkserver上报上来的copyset信息提交给 Coo 任务计算模块包含了多个定时任务 和 触 发任务。 • 定时任务由调度模块定时触发。 • 触发任务由外部触发,管理员通过工具触发。 • TopoAdapter 用于获取Topology中调度需要使用的数据。 • Common Strategy 是通用的副本添加和移除策略。 任务管理: 任务管理模块用于管理计算模块产生的任务。 • operatorController 是任务集合,用于存放和获取任务;0 码力 | 23 页 | 1.74 MB | 6 月前3 Curve核心组件之mds – 网易数帆通过结合curve的用户系统,LogicalPool可以通过配置限定特定user使用的方式,实现多个租户数据物理 隔离(待开发)。TOPOLOGY Topology的实际例子,右侧是topo配置文件: 集群有一个物理pool,由3个zone组成,每个zone有1台server。 在物理pool上,还创建了一个逻辑pool,逻辑pool使用3个zone,采用 3副本,有100个copyset。 cluster 存储系统的核心问题,也是 curve 是否能上生产环境的决定因素之一。 • 自动容错保证常见异常(如坏盘、机器宕机)导致的数据丢失不依赖人工处理,可 以自动修复。 • 负载均衡和资源均衡保证集群中的磁盘、cpu、内存等资源的利用率最大化。SCHEDULE Schdedule的具体实现 Coordinator: 调度模块的对外接口。心跳会将 chunkserver上报上来的copyset信息提交给 Coo 任务计算模块包含了多个定时任务 和 触 发任务。 • 定时任务由调度模块定时触发。 • 触发任务由外部触发,管理员通过工具触发。 • TopoAdapter 用于获取Topology中调度需要使用的数据。 • Common Strategy 是通用的副本添加和移除策略。 任务管理: 任务管理模块用于管理计算模块产生的任务。 • operatorController 是任务集合,用于存放和获取任务;0 码力 | 23 页 | 1.74 MB | 6 月前3
 Guía de referencia de Debian v2.124«LA_EXPRESIÓN_REGULAR» por «EL_TEXTO» en el «archivo» utilizando las órdenes ex(1). $ vim ’+%s/FROM_REGEX/TO_TEXT/gc’ ’+update’ ’+q’ file sugerencia La bandera «c» de la orden anterior hace que se pida la confirmación Sección 2.4.2. Ya que la verificación de la firma criptográfica es un proceso intensivo en uso de la CPU, el uso del valor MD5sum para cada paquete mientras se usa el archivo de firma criptográfica de la Relación de servicios y puertos seguros e inseguros El coste de tiempo de CPU del cifrado. Como alternativa más eficiente para la CPU, se pueden mantener las comunicaciones en texto plano y securizando la0 码力 | 285 页 | 1.43 MB | 1 年前3 Guía de referencia de Debian v2.124«LA_EXPRESIÓN_REGULAR» por «EL_TEXTO» en el «archivo» utilizando las órdenes ex(1). $ vim ’+%s/FROM_REGEX/TO_TEXT/gc’ ’+update’ ’+q’ file sugerencia La bandera «c» de la orden anterior hace que se pida la confirmación Sección 2.4.2. Ya que la verificación de la firma criptográfica es un proceso intensivo en uso de la CPU, el uso del valor MD5sum para cada paquete mientras se usa el archivo de firma criptográfica de la Relación de servicios y puertos seguros e inseguros El coste de tiempo de CPU del cifrado. Como alternativa más eficiente para la CPU, se pueden mantener las comunicaciones en texto plano y securizando la0 码力 | 285 页 | 1.43 MB | 1 年前3
 PlantUML 1.2019.4 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 166 页 | 1.82 MB | 1 年前3 PlantUML 1.2019.4 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 166 页 | 1.82 MB | 1 年前3
 PlantUML 1.2019.3 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 158 页 | 1.72 MB | 1 年前3 PlantUML 1.2019.3 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 158 页 | 1.72 MB | 1 年前3
 PlantUML 1.2019.2 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 158 页 | 1.72 MB | 1 年前3 PlantUML 1.2019.2 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 158 页 | 1.72 MB | 1 年前3
 PlantUML 1.2019.6 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 172 页 | 1.91 MB | 1 年前3 PlantUML 1.2019.6 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 172 页 | 1.91 MB | 1 年前3
 PlantUML 1.2019.9 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 172 页 | 1.93 MB | 1 年前3 PlantUML 1.2019.9 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 172 页 | 1.93 MB | 1 年前3
 PlantUML 1.2020.23 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 305 页 | 3.11 MB | 1 年前3 PlantUML 1.2020.23 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 305 页 | 3.11 MB | 1 年前3
共 17 条
- 1
- 2













