 Hadoop开发指南Hadoop开发指南 开发指南 注解:本例中所运⾏脚本需在CentOS操作系统上,其他操作系统请修改脚本后再尝试执⾏。 1. 在 在UHost上安装 上安装Hadoop客户端 客户端 出于安全性考虑,⼀般建议⽤⼾在⾮UHadoop集群机器上安装客⼾端进⾏任务提交与相关操作 1.1 控制台安装 控制台安装 可通过控制台⼀键安装,参考:客⼾端安装。 1.2 ⾃⾏安装 ⾃⾏安装 针对部分存 利⽤安装脚本部署 在任⼀master节点下的都有 /root/install\_uhadoop\_client.sh,⽤⼾可以利⽤此脚本进⾏客⼾端的安装部署 也可以通过外⽹下载最新版本安装脚本 Hadoop开发指南 Copyright © 2012-2021 UCloud 优刻得 1/12 wget http://new-uhadoop.cn-bj.ufileos.com/install_uhadoop_client_new 安装hadoop客⼾端,从集群master1节点上拷⻉安装包到UHost: 注解: hadoop-为hadoop具体对应的版本,可查看master的/home/hadoop/bin的软连接指向的版本,下同 Hadoop开发指南 Copyright © 2012-2021 UCloud 优刻得 2/12 #hadoop scp -r root@master_ip:/home/hadoop/.versions/hadoop-0 码力 | 12 页 | 135.94 KB | 1 年前3 Hadoop开发指南Hadoop开发指南 开发指南 注解:本例中所运⾏脚本需在CentOS操作系统上,其他操作系统请修改脚本后再尝试执⾏。 1. 在 在UHost上安装 上安装Hadoop客户端 客户端 出于安全性考虑,⼀般建议⽤⼾在⾮UHadoop集群机器上安装客⼾端进⾏任务提交与相关操作 1.1 控制台安装 控制台安装 可通过控制台⼀键安装,参考:客⼾端安装。 1.2 ⾃⾏安装 ⾃⾏安装 针对部分存 利⽤安装脚本部署 在任⼀master节点下的都有 /root/install\_uhadoop\_client.sh,⽤⼾可以利⽤此脚本进⾏客⼾端的安装部署 也可以通过外⽹下载最新版本安装脚本 Hadoop开发指南 Copyright © 2012-2021 UCloud 优刻得 1/12 wget http://new-uhadoop.cn-bj.ufileos.com/install_uhadoop_client_new 安装hadoop客⼾端,从集群master1节点上拷⻉安装包到UHost: 注解: hadoop-为hadoop具体对应的版本,可查看master的/home/hadoop/bin的软连接指向的版本,下同 Hadoop开发指南 Copyright © 2012-2021 UCloud 优刻得 2/12 #hadoop scp -r root@master_ip:/home/hadoop/.versions/hadoop-0 码力 | 12 页 | 135.94 KB | 1 年前3
 RocketMQ v3.2.4 开发指南RocketMQ 开发挃南 针对 v3.2.4 ©Alibaba 消息中间件项目组 2015/1/7 文档变更历史 序号 主要更改内容 更改人 更改时间 1 建立初始版本 誓嘉 vintage.wang@gmail.com 2013/5/18 2 3.0 版本补充文档 誓嘉 vintage.wang@gmail.com 2013/8/16 3 补充与规范区别 誓嘉 vintage.wang@gmail.com 2014/1/4 4 合并文档 誓嘉 vintage.wang@gmail.com 2014/11/17 5 6 7 项目开源主页:https://github.com/alibaba/RocketMQ I 目录 ................................................................................... 46 附彔 A 参考文档、规范 ..................................................................................................0 码力 | 52 页 | 1.61 MB | 1 年前3 RocketMQ v3.2.4 开发指南RocketMQ 开发挃南 针对 v3.2.4 ©Alibaba 消息中间件项目组 2015/1/7 文档变更历史 序号 主要更改内容 更改人 更改时间 1 建立初始版本 誓嘉 vintage.wang@gmail.com 2013/5/18 2 3.0 版本补充文档 誓嘉 vintage.wang@gmail.com 2013/8/16 3 补充与规范区别 誓嘉 vintage.wang@gmail.com 2014/1/4 4 合并文档 誓嘉 vintage.wang@gmail.com 2014/11/17 5 6 7 项目开源主页:https://github.com/alibaba/RocketMQ I 目录 ................................................................................... 46 附彔 A 参考文档、规范 ..................................................................................................0 码力 | 52 页 | 1.61 MB | 1 年前3
 Kubernetes + OAM 让开发者更简单李响, 阿里云 Kubernetes + OAM 让开发者更简单 来自应用开发者的“灵魂拷问” “ Kubernetes 让 Devops 更复杂了!” Kubernetes 对于应用开发复杂在哪里 1. 关注点不同 业务研发 2. 语义与抽象程度不同 业务运维 3. 交互与使用习惯不同 业务研发、运维 YAML 文件 图形化界面 命令行工具 IaC 配置语言 扩容策略 • CLI Deployment Function 应用层 能力管理 用户体验层 Kubernetes Open Application Model(OAM) 一个用来构建云原生应用管理平台的标准规范与核心框架 OAM + OAM Platform UI Open Application Model Platform Kubernetes GitOps/持续集成 标准化定义应用组件0 码力 | 22 页 | 10.58 MB | 1 年前3 Kubernetes + OAM 让开发者更简单李响, 阿里云 Kubernetes + OAM 让开发者更简单 来自应用开发者的“灵魂拷问” “ Kubernetes 让 Devops 更复杂了!” Kubernetes 对于应用开发复杂在哪里 1. 关注点不同 业务研发 2. 语义与抽象程度不同 业务运维 3. 交互与使用习惯不同 业务研发、运维 YAML 文件 图形化界面 命令行工具 IaC 配置语言 扩容策略 • CLI Deployment Function 应用层 能力管理 用户体验层 Kubernetes Open Application Model(OAM) 一个用来构建云原生应用管理平台的标准规范与核心框架 OAM + OAM Platform UI Open Application Model Platform Kubernetes GitOps/持续集成 标准化定义应用组件0 码力 | 22 页 | 10.58 MB | 1 年前3
 破解 Kubernetes 应用开发困局-王炜Kubernetes 应用开发困局 实时热加载和一键 Debug 2021.08.05 王炜 2 腾讯云 CODING DevOps 高级架构师 CNCF 大使 Nocalhost 项目负责人 自我介绍 1. K8s 环境开发困局 2. 主流云原生开发方式 3. 热加载原理 4. 开发和调试演示 5. 开源共建 目录 K8s 环境开发困局 01 开发举步维艰 5 微服务-Docker Docker-Kubernetes K8s 环境的开发困局 容器越来越多,服务编排、发现、稳定性监控、自愈等成为新的挑战。 Kubernetes 提供容器编排的解决方案。 6 面向运维 •开发难 概念繁多,声明式定义学习成本高。 •调试难 无法像本地一样调试,开发效率低。 完全面向运维提供能力,对开发增加了巨大的负担。 云原生环境下的学习成本,招聘成本,用人成本急剧上升。 7 云原生开发技能广度要求急剧提升 8 云原生开发工具依然缺失 主流云原生开发方式 02 现状 1 0 全手工流程 编码后,手动构建镜像、推送到镜像 仓库、修改工作负载镜像版本,调度 10 分钟/次 自动化 CI/CD 流程 编码后,推送到代码仓库,自动触发 CI/CD 流程,等待生效。 5 分钟/次 Minikube + Telepresence Minikube 拉起本地 K8s 开发环境, Telepresence0 码力 | 20 页 | 3.58 MB | 9 月前3 破解 Kubernetes 应用开发困局-王炜Kubernetes 应用开发困局 实时热加载和一键 Debug 2021.08.05 王炜 2 腾讯云 CODING DevOps 高级架构师 CNCF 大使 Nocalhost 项目负责人 自我介绍 1. K8s 环境开发困局 2. 主流云原生开发方式 3. 热加载原理 4. 开发和调试演示 5. 开源共建 目录 K8s 环境开发困局 01 开发举步维艰 5 微服务-Docker Docker-Kubernetes K8s 环境的开发困局 容器越来越多,服务编排、发现、稳定性监控、自愈等成为新的挑战。 Kubernetes 提供容器编排的解决方案。 6 面向运维 •开发难 概念繁多,声明式定义学习成本高。 •调试难 无法像本地一样调试,开发效率低。 完全面向运维提供能力,对开发增加了巨大的负担。 云原生环境下的学习成本,招聘成本,用人成本急剧上升。 7 云原生开发技能广度要求急剧提升 8 云原生开发工具依然缺失 主流云原生开发方式 02 现状 1 0 全手工流程 编码后,手动构建镜像、推送到镜像 仓库、修改工作负载镜像版本,调度 10 分钟/次 自动化 CI/CD 流程 编码后,推送到代码仓库,自动触发 CI/CD 流程,等待生效。 5 分钟/次 Minikube + Telepresence Minikube 拉起本地 K8s 开发环境, Telepresence0 码力 | 20 页 | 3.58 MB | 9 月前3
 Apache APISIX 在金山办公的开发和落地实践Apache APISIX 在金山办公的开发和落地实践 张强 金山办公 01 前情回顾&增补 02 关于 OpenResty 和 Lua 的思考 03 基于 Apache APISIX 破局 04 解决 Nginx 带来的问题 CONTENT W r i t e h e r e S o m e t h i n g a b o u t 前情回顾 & 增补 01 About •金山办公云原生应用组流量网关 Lead Developer •金山办公作为 Apache APISIX 较早的受益者,使用Apache APISIX 承载百万QPS流量,对 Apache APISIX 做了比较深 入的定制开发 W r i t e h e r e S o m e t h i n g Ab o u t 选择好 router radixtree_uri vs radixtree_host_uri 玩 •Lua 开发环境,特别是 OpenResty 相关的比较弱 •难招人,后端开发转 lua 成本高昂 “A programming language designed primarily for embedded use in applications” Wikipedia - Lua 关于 OpenResty 和 Lua 的思考 Nginx 的设计给 “ 平均水平 ” 终端开发者带来的问题0 码力 | 27 页 | 4.88 MB | 1 年前3 Apache APISIX 在金山办公的开发和落地实践Apache APISIX 在金山办公的开发和落地实践 张强 金山办公 01 前情回顾&增补 02 关于 OpenResty 和 Lua 的思考 03 基于 Apache APISIX 破局 04 解决 Nginx 带来的问题 CONTENT W r i t e h e r e S o m e t h i n g a b o u t 前情回顾 & 增补 01 About •金山办公云原生应用组流量网关 Lead Developer •金山办公作为 Apache APISIX 较早的受益者,使用Apache APISIX 承载百万QPS流量,对 Apache APISIX 做了比较深 入的定制开发 W r i t e h e r e S o m e t h i n g Ab o u t 选择好 router radixtree_uri vs radixtree_host_uri 玩 •Lua 开发环境,特别是 OpenResty 相关的比较弱 •难招人,后端开发转 lua 成本高昂 “A programming language designed primarily for embedded use in applications” Wikipedia - Lua 关于 OpenResty 和 Lua 的思考 Nginx 的设计给 “ 平均水平 ” 终端开发者带来的问题0 码力 | 27 页 | 4.88 MB | 1 年前3
 开发环境安装开发环境准备 主讲人:龙良曲 开发环境 ▪ Python 3.7 + Anaconda 5.3.1 ▪ CUDA 10.0 ▪ Pycharm Community ANACONDA CUDA 10.0 ▪ NVIDIA显卡 CUDA 安装确认 路径添加到PATH CUDA 测试 PyTorch安装 管理员身份运行cmd PyCharm ▪ 配置Interpreter0 码力 | 14 页 | 729.50 KB | 1 年前3 开发环境安装开发环境准备 主讲人:龙良曲 开发环境 ▪ Python 3.7 + Anaconda 5.3.1 ▪ CUDA 10.0 ▪ Pycharm Community ANACONDA CUDA 10.0 ▪ NVIDIA显卡 CUDA 安装确认 路径添加到PATH CUDA 测试 PyTorch安装 管理员身份运行cmd PyCharm ▪ 配置Interpreter0 码力 | 14 页 | 729.50 KB | 1 年前3
 PyTorch OpenVINO 开发实战系列教程第一篇PyTorch + OpenVINO 开发实战系列教程 第一篇 系列文章 OpenVINO TM 工具套件 目录 目录 概述 ��������������������������������������������������������������������������������������������������������������������������������� Pytorch 开发经验的读者来说可以直接跳 过;对初次接触 Pytorch 的读者来说,通过本章学习认识 Pytorch 框架,搭建 好 Pytorch 的开发环境,通过一系列的基础代码练习与演示建立起对深度学习 与 Pytorch 框架的感性认知。 本书内容以 Python 完成全部代码构建与程序演示。本章的主要目标是帮助初 次接触 Python 与 Pytorch 的读者搭建好开发环境,认识与理解 框架的深度学习破冰之旅。 PyTorch + OpenVINO 开发实战系列教程 第一篇 2 1. Pytorch 介绍与基础知识 1.1 Pytorch 介绍 Pytorch 是开放源代码的机器学习框架,目的是加速从研究 原型到产品开发的过程。其 SDK 主要基于 Python 语言,而 Python 语言作为流行的人工智能开发语言一直很受研究者与 开发者的欢迎。其模型训练支持CPU与GPU、支持分布式训练、0 码力 | 13 页 | 5.99 MB | 1 年前3 PyTorch OpenVINO 开发实战系列教程第一篇PyTorch + OpenVINO 开发实战系列教程 第一篇 系列文章 OpenVINO TM 工具套件 目录 目录 概述 ��������������������������������������������������������������������������������������������������������������������������������� Pytorch 开发经验的读者来说可以直接跳 过;对初次接触 Pytorch 的读者来说,通过本章学习认识 Pytorch 框架,搭建 好 Pytorch 的开发环境,通过一系列的基础代码练习与演示建立起对深度学习 与 Pytorch 框架的感性认知。 本书内容以 Python 完成全部代码构建与程序演示。本章的主要目标是帮助初 次接触 Python 与 Pytorch 的读者搭建好开发环境,认识与理解 框架的深度学习破冰之旅。 PyTorch + OpenVINO 开发实战系列教程 第一篇 2 1. Pytorch 介绍与基础知识 1.1 Pytorch 介绍 Pytorch 是开放源代码的机器学习框架,目的是加速从研究 原型到产品开发的过程。其 SDK 主要基于 Python 语言,而 Python 语言作为流行的人工智能开发语言一直很受研究者与 开发者的欢迎。其模型训练支持CPU与GPU、支持分布式训练、0 码力 | 13 页 | 5.99 MB | 1 年前3
 16-Nocalhost重新定义云原生开发环境-王炜Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 1 / 7 Nocalhost - 重新定义云原⽣开发环境 前⾔ 随着业务的快速发展,技术部⻔的组织架构在横向及纵向不断扩⼤和调整,与此同时,企业的⽣产资料:应 ⽤系统,也变得越来越庞⼤。为了让应⽤系统适配企业组织架构的调整,梳理组织架构对于应⽤权责的边 界,⼤部分组织会选择使⽤“微服务”架构来对应⽤系统进⾏横向拆分,使得应⽤系统的维护边界适配组织架 “微服务”带来便利的同时,对开发⼈员⽽⾔,还带来了额外的挑战:如何快速启动完整的开发环境?开发的 需求依赖于其他同事怎么联调?如何快速调试这些微服务? ⽽对于管理⼈员来说,也同样带来了⼀系列的挑战:如何管理开发⼈员的开发环境?如何让新⼊职的同事快 速进⾏开发? 试想⼀下,要开发由 200 个“微服务”组成的云原⽣应⽤,会遇到哪些困难呢? Localhost 时代 在单体应⽤的时代,对于开发者来说是极为友好的 ,�开发者使⽤本机运⾏应⽤,修改代码后实时⽣效,通过 浏览器访问 Localhost 实时查看代码效果。 单体应⽤和“微服务”应⽤不同,单体应⽤是 “ALL-IN-ONE” 组织⽅式,所有的调⽤关系仅限于在⾃身的类和函 数,应⽤对硬件的要求⼀般也不会太⾼。 ⽽开发“微服务”应⽤则⼤不相同,由于相互间的依赖关系,当需要开发某⼀个功能或微服务时,不得不将所 有依赖的服务都启动起来。随着微服务数量的增0 码力 | 7 页 | 7.20 MB | 6 月前3 16-Nocalhost重新定义云原生开发环境-王炜Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 1 / 7 Nocalhost - 重新定义云原⽣开发环境 前⾔ 随着业务的快速发展,技术部⻔的组织架构在横向及纵向不断扩⼤和调整,与此同时,企业的⽣产资料:应 ⽤系统,也变得越来越庞⼤。为了让应⽤系统适配企业组织架构的调整,梳理组织架构对于应⽤权责的边 界,⼤部分组织会选择使⽤“微服务”架构来对应⽤系统进⾏横向拆分,使得应⽤系统的维护边界适配组织架 “微服务”带来便利的同时,对开发⼈员⽽⾔,还带来了额外的挑战:如何快速启动完整的开发环境?开发的 需求依赖于其他同事怎么联调?如何快速调试这些微服务? ⽽对于管理⼈员来说,也同样带来了⼀系列的挑战:如何管理开发⼈员的开发环境?如何让新⼊职的同事快 速进⾏开发? 试想⼀下,要开发由 200 个“微服务”组成的云原⽣应⽤,会遇到哪些困难呢? Localhost 时代 在单体应⽤的时代,对于开发者来说是极为友好的 ,�开发者使⽤本机运⾏应⽤,修改代码后实时⽣效,通过 浏览器访问 Localhost 实时查看代码效果。 单体应⽤和“微服务”应⽤不同,单体应⽤是 “ALL-IN-ONE” 组织⽅式,所有的调⽤关系仅限于在⾃身的类和函 数,应⽤对硬件的要求⼀般也不会太⾼。 ⽽开发“微服务”应⽤则⼤不相同,由于相互间的依赖关系,当需要开发某⼀个功能或微服务时,不得不将所 有依赖的服务都启动起来。随着微服务数量的增0 码力 | 7 页 | 7.20 MB | 6 月前3
 QCon北京2018/QCon北京2018-《Kubernetes-+面向未来的开发和部署》-Michael+Chen0 码力 | 42 页 | 10.97 MB | 1 年前3 QCon北京2018/QCon北京2018-《Kubernetes-+面向未来的开发和部署》-Michael+Chen0 码力 | 42 页 | 10.97 MB | 1 年前3
 石油巨头与Kubernetes, Microservice & DevOps 共舞1114最终版建设思路与整体方案 2 今⽇话题 数据 技术 应⽤ 数据 技术 应⽤ 数据 技术 应⽤ 数据 技术 应⽤ 数据 • 标准不统⼀ • 重复录⼊ • 数据不⼀致… 技术平台 • 规范不⼀致 • 组件不复⽤ • 集成共享难… 应⽤ • 功能单⼀ • 管理型居多 • 适应性不⾜… 系统建设 • 建设周期⻓ • 存在重复建设 • 投资回报低 • 系统维护成本⾼… 应⽤独⽴,难协同 • ⼀体化应⽤,不⽀持 • 需求响应效率低… 业务信息系统现状 容器平台 DevOps 微服务治理 统一技术平台 上游全业务链数据 数据治理 统一数据湖 勘探生产管理 通用应用 开发生产管理 协同研究 经营管理与决策 总体架构 项目背景 1 产品与技术详情 3 建设思路与整体方案 2 今⽇话题 租户体系 DEVOPS 微服务 容器平台 安全管理 瑞道容器云平台 资源相互隔离,支撑多 租户场景 通过安全体系来保障 DevOps过程中的安全问 题 项⺫管理 快速迭代开发,更短的发布周期, 并统⼀流程,规范化管理 持续交付 提⾼部署的效率,降低部署的⻛ 险,提⾼部署的质量,消除部⻔ 壁垒,交付过程标准化, 透明化 持续构建与测试 保障代码质量,提升开发效率 知识共享 知识共享与积累,不断完善,持 续学习改进 认证与改进 持续优化, 形成闭环 运维监控0 码力 | 33 页 | 7.49 MB | 1 年前3 石油巨头与Kubernetes, Microservice & DevOps 共舞1114最终版建设思路与整体方案 2 今⽇话题 数据 技术 应⽤ 数据 技术 应⽤ 数据 技术 应⽤ 数据 技术 应⽤ 数据 • 标准不统⼀ • 重复录⼊ • 数据不⼀致… 技术平台 • 规范不⼀致 • 组件不复⽤ • 集成共享难… 应⽤ • 功能单⼀ • 管理型居多 • 适应性不⾜… 系统建设 • 建设周期⻓ • 存在重复建设 • 投资回报低 • 系统维护成本⾼… 应⽤独⽴,难协同 • ⼀体化应⽤,不⽀持 • 需求响应效率低… 业务信息系统现状 容器平台 DevOps 微服务治理 统一技术平台 上游全业务链数据 数据治理 统一数据湖 勘探生产管理 通用应用 开发生产管理 协同研究 经营管理与决策 总体架构 项目背景 1 产品与技术详情 3 建设思路与整体方案 2 今⽇话题 租户体系 DEVOPS 微服务 容器平台 安全管理 瑞道容器云平台 资源相互隔离,支撑多 租户场景 通过安全体系来保障 DevOps过程中的安全问 题 项⺫管理 快速迭代开发,更短的发布周期, 并统⼀流程,规范化管理 持续交付 提⾼部署的效率,降低部署的⻛ 险,提⾼部署的质量,消除部⻔ 壁垒,交付过程标准化, 透明化 持续构建与测试 保障代码质量,提升开发效率 知识共享 知识共享与积累,不断完善,持 续学习改进 认证与改进 持续优化, 形成闭环 运维监控0 码力 | 33 页 | 7.49 MB | 1 年前3
共 231 条
- 1
- 2
- 3
- 4
- 5
- 6
- 24














