第29 期| 2023 年9 月- 技术雷达JavaScript 生态系统十分混乱的时期,我们也从未采取过这样的做法)。作 为一家开创 CI、CD 等突破性工程实践历史的软件咨询公司,我们对于使用 AI 辅助软件开发特别感兴趣。因此, 本期技术雷达讨论了许多代码辅助工具,如 GitHub Copilot、Tabnine 和 Codeium。我们兴奋于 open-source LLMs for coding 在工具领域可能带来的变革,并且我们看到了在编码之外的辅助领域中工具和能力的爆炸式增 早在 2003 年就撰写了有关此主题的文章,但问题并没有消失。在 这期雷达中,我们讨论了许多现代工具和技术,它们采用更加细致入微的方法来衡量软件的创造过程,但这仍 然不够。幸运的是,业界已经不再使用代码行数作为产出衡量标准。然而,衡量框架 SPACE 中 A(Activity,活 动)的替代方法,例如拉取请求的数量或已解决的问题的数量,仍然不足以成为衡量生产力的良好指标。相反, 行业已经开始关 OpenAI 的 ChatGPT,Google Bard,Meta 的 LLaMA 以及亚马逊的 Bedrock 等)在我们的讨论中占据重要地位。更广泛来说,大语言模型可以应用于从 内容生成(文本、图片和视频)、代码生成到总结概述和翻译等各种问题。通过自然语言的抽象层,这些大模型 成为了强大的工具库,被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面,包括自托管式大语言 模型,相较云托管的大0 码力 | 43 页 | 2.76 MB | 1 年前3
石墨文档Go在K8S上微服务的实践-彭友顺format、lint、breaking 检查。 CI build 阶段 • 会基于 pb 的注释自动产生文档,并推送至内部的微服务管理系统接口平台中 • 会生成 Go/PHP/Node/Java 桩代码和错误码,推送到指定的仓库 开发阶段 • go get 客户端、服务端的gRPC和错误码的代码 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC {error proto file} --go-errors_out={output directory} • 实现我们自定义的error类型,方便断言。 • 根据注解的code信息,在错误码中生成对应的grpc status code • 确保错误码唯一,后续在API层响应用户数据确保唯一错误码,例如: 下单失败(1008) • errors里设置with message,携带更多的错误信息 微服务的测试阶段 测试类型 工具生成测试用例 简单高效做单元测试 • 单元测试 • 本地docker-compse • 提交代码,触发gitlab ci • 接口测试 • 接口平台 • 性能测试 • benchmark • 全链路压测 • 集成测试 • 以前gitlab ci,docker in docker • 目前结合配置中心拓扑图,自动生成jekins编排,ing 微服务的测试阶段0 码力 | 41 页 | 3.20 MB | 1 年前3
张海宁:使用Kubernetes部署超级账本Fabric超级账本项目概览 SACC2017 商用区块链的要求 5 共享账本 智能合约 隐私性 共识算法 多方共享数据 访问权限控制 交易具有合适的可见性 交易需认证身份 用代码描述业务 可验证和签名确认 多方共同认可交易 满足需求的吞吐量 SACC2017 公有链的不足之处 • 比特币、以太坊等公有链项目,不能满足商用的需求 – 无保密性(Confidentiality) Indy Composer SACC2017 Fabric • 2015年12月开源 • 主体由IBM的OBC(Open Blockchain)开源代码转化过来 • 增加了DAH和Blockstream两家公司的代码 • 项目以Go语言为主 • 90+贡献者 • 5000+commits 13 SACC2017 Hyperledger Fabric 1.0 特点 --dns-opt ndots:2 --dns-opt \ timeout:2 --dns-opt attempts:2 " 32 架构 - 网络 (2) SACC2017 • 集中生成和存放配置文件,按需导入Pod。 • 支持Pod在各个worker之间的迁移。 • K8s的PV和PVC可以确保每个Fabric的节点只能看到所需要的文件。 33 架构 – 共享存储0 码力 | 45 页 | 2.70 MB | 1 年前3
涂小刚-基于k8s的微服务实践docker 镜 像 管 理 弹性伸缩 智能调度 配置管理 健康检查 服务发现 动态dns 负载均衡 容器监控 日志采集 应用监控 节点监控 动态存储 本地存储 网络存储 静态存储 代码检查 代码编译 镜像编译 服务发布 镜像同步 镜像上传 镜像下载 镜像安全 k8s tcp负载 https-http 虚拟主机 服务路由 traefik ingress-nginx nginx k8s之间的关联。 规范 范例 应用名称 ai-dc-server ai-dc-web ai-dc-api 镜像版本和git版本库规范 制定git版本规范,开发提交合并master代码,git版本库和业务版本进行关联,出了问题好定位问题。 采用docker容器化之后,ci-cd由运维平台集中控制,git版本和容器镜像必需保持一致关联性,方便问题回溯。 git master 通过宿主机路由同步收发包,必需工作在二层。 1.系统启动,flanneld下发docker子网配置,docker启动获 取子网配置生成docker0 生成gateway网卡; 2.node1,node的kubelet收到指令创建一个新的pod容器; 3.docker开始创建pod,从flanneld下发子网池生成pod-ip- eth; 4.kube-proxy跟据svc yaml创建ipvs-eth子网卡; 50 码力 | 19 页 | 1.34 MB | 1 年前3
GPU Resource Management On JDOS实验 JDOS 常规的容器服务 ,使用 gpu 的 zone , 自行设定相应的镜像即 可,有完善的周边服务 训练服务 • 提供基于 kubeflow 的分布式训练方案 – 界面化操作,用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像,不需要 JDOS 提前协助制作镜像 – 提供 tensorboard GPU 利用率 – Job 调度 (部门 quota 限制 + 优先级) • 创建训练 – 用户选择集群提供代码地址和执行命令即可 – 选择所用框架(镜像):支持官方,亦可自制 (提供 dockerfile 生成镜像服务) – 选择存储来源:对接了内部的存储 – 填写代码地址,执行的命令等 – 可以选择是否监控训练,提供 tensorboard 任务列表 可以指定 git 的 commit-id0 码力 | 11 页 | 13.40 MB | 1 年前3
Kubernetes 异常配置检测框架Policy Executor Task Node Node Node Global Job Custom Job Node Script Image 1. 根据集群类型、版本、场景生成检测策略 2. 根据策略执行检测任务 3. 检测任务支持脚本或容器镜像 Ver.1 优化点 快速迭代的 Kubernetes 版本 • 月度发版 • 版本间的配置、参数、API 差异 多样集群类型(阿里云容器服务) 托管版集群、Serverless 集群 • 边缘集群、GPU 集群 各类检测场景 • 节点、组件、配置等 • 集群升级、集群巡检 版本差异 * 类型差异 * 场景差异 检测项 Ver.1 优化点 检测代码在膨胀 检测能力迭代需要加速 检测框架 Ver.2 { 动态定制 动态扩展 Ver.2 DSL DSL (Domain-Specific Language) • 领域特定语言指专注于某个应用程序领域的计算机语言 DSL 的 Kubernetes 集群异常检测框架支撑了阿里云上万集群常态运行和关键运维动作执行 • 框架具有强通用性和扩展性,适用于多种集群版本、类型、场景 • 框架可实现零代码定制集群检查报告 • 框架可实现低代码扩展、集成多种异常检测能力 Next • 更多异常检测数据源 • 集群配置推荐 • 自动修复0 码力 | 31 页 | 9.57 MB | 1 年前3
开课吧基于混合云的Kubernetes平台落地实践-程亮2020 2021 K8S多环境 • 基于jenkins的传统发布 K8S多环境发布一期方案 • 一期通过K8S发布,一键master • 新增服务模版,自动生成deployment K8S多环境二期优化实战 • 一套代码,支持多种环境 • 物理隔离的多环境 • 共享资源的多环境 收益总结 • 降低服务器使用成本40% • 运维100%自动化 • 多云部署,高可用 P-1 为什么要做多云多K8S多环境 一键拉起master镜像新环境 ‣ 如何确保环境间资源互不影响 ‣ 一期方案存在的问题与挑战 ‣ 如何实现线下多环境 • 一键拉起环境 注意点 • 数据建设依赖于规划 • 数据如何切分 原理 • 所有镜像自动生成 • 一键master镜像部署 1. 注册中心 2. Mysql Redis ES 3. 全链路微服务 4. 自动数据同步 • 一期多环境平台架构图 CDN / LB / WAF / NG K8S集群0 码力 | 22 页 | 7.42 MB | 9 月前3
云计算白皮书效率的需求日益 增大,以 Serverless(服务器无感知)、低/无代码为代表的技术能够 屏蔽复杂的底层基础设施,让用户以最低学习成本、最小使用代价 最大化释放云的生产力,实现快速创新。AWS 贯彻全面 Serverless 化战略,提供计算、存储、数据库等全领域的 Serverless 服务。微软 发力低/无代码领域,其发布的 Power Platform 已经与 Office 365、 的云成本进行汇总并合理分配至每一个成本中心,提升云成本账单 在企业财务层面的可见性。其次,在云成本预测场景下,智能预测 技术结合企业云成本及资源使用和成本支出历史数据对未来云资源 费用情况进行智能化预测,通过机器学习、AI 等技术生成可供企业 参考的云成本优化建议,帮助企业提前规划并控制云成本支出。第 三,在云成本计量计费场景下,虚拟计费技术能够帮助企业对自建 私有云等资源进行虚拟计费,通过自定义计费策略及支出模式,为 系统技术 依赖性强、二次开发难度高,难以实现应用现代化改造,如石油化 工涉及生产维护、炼化生产、供应链协调等多个系统,整合改造门 槛高。二是存在数据孤岛现象,云上安全流通受阻。传统工业数据 生成速度快,管理难度大,来源包括生产各个环节的传感器、监测 设备、计量仪表等设备,需边缘计算、大数据等技术融合应用管理, 成本高难度大。同时,上下游经销商业务数据敏感,数据难以在云 上安全流通。三0 码力 | 47 页 | 1.22 MB | 1 年前3
Kubernetes for Edge Computing across
Inter-Continental Haier Production SitesSpringcloud: • 相对封闭 • 技术栈比较重 • 需额外维护注册中心 • 一些场景在容器平台中已不复存在 海尔框架: • Quickstart工具支持,填写应用名称,快速生成代码框架 • 充分借助容器平台功能 海尔工业互联网 - 微服务之负载均衡 V IP node node LB node pod node node E.P. E.P. E.P 和滚动升级。 模型服务 实现对 GPU 集群资源进行管理,根 据用户作业请求自动分配和回收 GPU 资源。 GPU 集群管理 对接存储系统,管理数据集;提供 notebook 交互式代码开发和调试工 具;管理数据预处理批作业。 模型开发 海尔工业互联网 – 才云数据解决方案 海尔工业互联网 – 才云数据解决方案 海尔工业互联网 – 才云数据解决方案 海尔工业互联网 – 才云数据解决方案0 码力 | 33 页 | 4.41 MB | 1 年前3
基于Kubernetes构建容器云平台的实践
- UCloud优刻得实验室负责⼈ 叶理灯链路路跟踪 负载均衡 ⾃自动容灾 持续集成 持续部署 灰度发布 服务注册/发现 关系数据库 KV存储 对象存储 块存储 DNS 消息队列列 API- Gateway 镜像仓库 统⼀一代码管理理 统⼀一编程框架 统⼀一通讯协议 统⼀一部署环境 计算平台/KUN 公共服务 存储平台 Think in Cloud . 北北京 基于RBAC实现 账号管理理隔离 01 IPv6 Pod 的 hostname、名字等都是携带了了编号,Pod 的 创建,也是严格按照编号顺序进⾏行行 • 通过 Headless Service为这些有编号的 Pod,在 DNS 服务器器中 ⽣生成带有同样编号的 DNS 记录 • StatefulSet 还为每⼀一个 Pod 分配并创建⼀一个同样编号的 PVC, 保 证了了每⼀一个 Pod 都拥有⼀一个独⽴立的 Volume Operator A. 完全的容器器化和微服务化。 B. 所有管理理服务全部运⾏行行在k8s上。 C. 基于k8s的api对服务模块(job&watcher)进⾏行行动态管理理。 D. ⼀一个集群对应⽣生成⼀一个watcher,容易易进⾏行行横向扩展。 E. 基于watcher+redis缓存的⽅方式,保证⽤用户在控制台获取集群信息的速度⾜足够快。 Think in Cloud . 北北京 UK8S托管⽅方案0 码力 | 30 页 | 3.52 MB | 1 年前3
共 33 条
- 1
- 2
- 3
- 4













