石墨文档Go在K8S上微服务的实践-彭友顺故障转移 资源调度 权限控制 标准统一 运维简单 框架简单 编译 部署 应用开发 启动方式 日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 编译 部署 2014年6月K8S开源 微服务的生命周期 第二部分 微服务的生命周期 开发 测试 部署 启动 调用 治理 微服务的开发阶段 配置 对接 Debug • 配置驱动 • 配置补齐 • 统一配置、调用用方式,降低开发心智负担 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 问题:每种开源组件的配置、调用方式、debug方式、记录日志方式都不一样 微服务的开发阶段 问题:gRPC未设置连接错误,阻塞模式报错不正确 Redis、MySQL连接数配置未设置?超时未设置? 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 默认补齐配置,给出最佳实践 微服务的开发阶段 IDE的体验,右键插入资源引用,悬停查看资源信息 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 配置版本,发布,回滚,可以更加方便 微服务的开发阶段 统一采用gRPC协议和protobuf编解码 CI check 阶段 • 主要做 pb 的0 码力 | 41 页 | 3.20 MB | 1 年前3
Keras: 基于 Python 的深度学习库. . . . 8 3.1.2 指定输入数据的尺寸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.1.3 编译 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3.1.4 训练 . . . add(Dense(32, input_shape=(784,))) model = Sequential() model.add(Dense(32, input_dim=784)) 快速开始 9 3.1.3 编译 在训练模型之前,您需要配置学习过程,这是通过 compile 方法完成的。它接收三个参数: • 优化器 optimizer。它可以是现有优化器的字符串标识符,如 rmsprop 或 adagrad,也可以 : model = Model(inputs=[main_input, auxiliary_input], outputs=[main_output, auxiliary_output]) 现在编译模型,并给辅助损失分配一个 0.2 的权重。如果要为不同的输出指定不同的 loss_weights 或 loss,可以使用列表或字典。在这里,我们给 loss 参数传递单个损失函数,这 个损失将用于所有的输出。0 码力 | 257 页 | 1.19 MB | 1 年前3
Docker 从入门到实践 0.9.0(2017-12-31)定义匿名卷 EXPOSE 暴露端口 WORKDIR 指定工作目录 USER 指定当前用户 HEALTHCHECK 健康检查 ONBUILD 为他人作嫁衣裳 参考文档 Dockerfile 多阶段构建 其它制作镜像的方式 实现原理 操作容器 启动 守护态运行 终止 进入容器 导出和导入 删除 访问仓库 Docker Hub 私有仓库 私有仓库高级配置 数据管理 数据卷 优化文字排版 调整目录结构 修复内容逻辑错误 修复 404 链接 0.9.0-rc1: 2017-11-29 根据最新版本(v17.09)修订内容 增加 Dockerfile 多阶段构建( multistage builds ) Docker 17.05 新增特性 增加 docker exec 子命令介绍 增加 docker 管理子命令 container 的结果,你会发现除了真正想要修改的 /usr/share/nginx/html/index.html 文件外,由于命令的执行,还有很多文件被改动或添加 了。这还仅仅是最简单的操作,如果是安装软件包、编译构建,那会有大量的无关内容被添 加进来,如果不小心清理,将会导致镜像极为臃肿。 此外,使用 docker commit 意味着所有对镜像的操作都是黑箱操作,生成的镜像也被称为黑 箱镜像,换0 码力 | 370 页 | 6.73 MB | 1 年前3
Hadoop 迁移到阿里云MaxCompute 技术方案....................... 19 5.1 阶段 1:调研评估&迁移方案 ........................................................................................................ 20 5.2 阶段 2:试点/全面业务迁移 ..................... ..................................................................................... 20 5.3 阶段 3:并行测试,割接 ........................................................................................... 整个迁移工作包含以下几个阶段: Alibaba Cloud MaxCompute 解决方案 20 5.1 阶段 1:调研评估&迁移方案 重点进行迁移前的评估分析,通过迁移工具对 Hadoop 平台的相关信息进行收集和诊断分 析,形成迁移分析报告,供决策者评估使用。 同时,根据诊断分析报告的内容,用户可以根据自身业务现状,制定迁移方案和计划。 5.2 阶段 2:试点/全面业务迁移0 码力 | 59 页 | 4.33 MB | 1 年前3
OpenShift Container Platform 4.13 CI/CD替 替换 换 Dockerfile FROM 镜 镜像 像 您可以将 Dockerfile 中的 FROM 指令替换为 BuildConfig 对象的 from。如果 Dockerfile 使用多阶段构 建,最后一个 FROM 指令中的镜像将被替换。 流程 流程 将 Dockerfile 中的 FROM 指令替换为 BuildConfig 中的 from。 2.5.1.2. 使用 使用 Dockerfile source-to-image(S2I)会在构建期间读取此文件。 这允许自定义构建行为,因为 assembe 脚本可能会使用这些变量。 流程 流程 例如,在构建期间禁用 Rails 应用程序的资产编译: 在 .s2i/environment 文件中添加 DISABLE_ASSET_COMPILATION=true。 除了构建之外,指定的环境变量也可以在运行的应用程序本身中使用。例如,使 Rails 定义中添加环境变量。这里定义的环境变量可在 assemble 脚本执 行期间看到,也会在输出镜像中定义,使它们能够供 run 脚本和应用程序代码使用。 流程 流程 例如,禁用 Rails 应用程序的资产编译: strategy: sourceStrategy: from: kind: "ImageStreamTag" name: "builder-image:latest"0 码力 | 129 页 | 1.37 MB | 1 年前3
石油巨头与Kubernetes, Microservice & DevOps 共舞1114最终版测试管 理平台 流⽔线编 排⼯具 代码质 量管控 镜像安 全扫描 运营统 计⼯具 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 运营统计 编译打 包 代码质量 管理 多语⾔ 构建 安全管控 构建实 践 测试管理 功能测 试 性能测试 接⼝测 试 产出物管 理 持续构建与测试 ⾃动部 署 配置管理 环境管 理 Elastic kubernet es Docke r 总体流程设计 u 在概念阶段完成产品⽴项评审 u 在迭代0阶段完成系统总体架构审 计,总体架构设计完成之后,启 动迭代启动评审。 u 在迭代阶段包含1.需求分析、2.应 ⽤设计、3.开发、4.测试、5.发布、 6.运维、7、迭代回顾7个阶段 u 每个迭代时间固定,⼀般为2-4周 整体过程框架 整体过程框架 开发 单次迭代开发交付过程 版本发布规范 版本发布评审流程, ⽣产环境上线流程 缺陷管理规范 缺陷的定义,缺陷报 告,缺陷跟踪,缺陷 分析 ⽤户需求分解指南 ⽤户需求分解法,⽤ 户故事地图 测试指南 测试的各个阶段,测 试阶段依赖的⽂档, 测试的种类,测试类 型 …… …… 产品主 管 开发主 管 开发⼈ 员 运维主 管 测试⼈ 员 运维⼈ 员 产品经 理 ⽤户 团队⾓⾊构成0 码力 | 33 页 | 7.49 MB | 1 年前3
第29 期| 2023 年9 月- 技术雷达法。如果不限定范围并明确要点,这些文件往往会随着时间的推移而变得越来越长,类似于传统的解决方案架 构文件一样最终被归档和遗忘。 3. 具有可访问性意识的组件测试设计 试验 在软件交付进程中,可访问性要求是 Web 组件测试阶段的一种考察指标。尽管诸如 chai-a11y-axe 的测试框架 插件 API 已提供了基础的可访问性断言,具有可访问性意识的组件测试设计依然能够帮助测试进一步检验屏幕 阅读器和其他辅助技术所需的全量语义元素。 最广泛的一种。最近,OpenAI 在其 API 中引入了函数调用以使 ReAct 和类似的提示风格更容易实现,而无需依赖像 LangChain 这样的外部工具。我们仍然处于定义这一学科 的早期阶段,但到目前为止,ReAct 及其后继方法已指引出大语言模型最令人兴奋的一些应用领域。 10. 检索增强生成 试验 检索增强生成(RAG) 是一种结合预训练参数和非参数记忆的文本生成技术。它使你能够通过你的领域内特有 常被称为思维链推理,而且实际上是可行的。我们的团队实现了一个作为自主代理的客户服务聊天机器人。如 果机器人无法达成客户的目标,它会认识到自己的限制并将客户引导到人工处理。这种方法显然仍处于早期发 展阶段:自主代理通常存在高失败率和高昂的 AI 服务费用,至少有一家 AI 初创公司已经从代理为基础的方法转 向其他方向。 20. 平台编排 评估 随着平台工程的广泛采纳,我们看到了新一代的工具,0 码力 | 43 页 | 2.76 MB | 1 年前3
Extending service mesh capabilities using a streamlined way based on WASM and ORASio/docs/envoy/latest/configuration/http/http_filters/http_fi lters ○ …. ● 自定义开发: ○ 静态预编译: ■ 将其他过滤器集成到Envoy的源代码中,并编译新的Envoy版本。 ■ 这种方法的缺点是您需要维护Envoy版本,并不断使其与官方发行版保持同步。 ■ 此外,由于Envoy是用C++实现的,因此新开发的过滤器也必须用C++实现。 6 使用Wasm for Proxy ● Pros ○ 敏捷性:过滤器可以动态加载到正在运行的Envoy进程中,而无需停止或重新编译。 ○ 可维护性:不必更改Envoy自身基础代码库即可扩展其功能。 ○ 多样性:可以将流行的编程语言(例如C/C++和Rust)编译为WASM,因此开发人员可 以选择实现过滤器的编程语言。 ○ 可靠性和隔离性:过滤器会被部署到VM沙箱中,因此与Envoy进程本身是隔离的;即使 Filter出现问题导致崩溃时,它也不会影响Envoy进程。 ○ 安全性:过滤器通过预定义API与Envoy代理进行通信,因此它们可以访问并只能修改有 限数量的连接或请求属性。 ● Cons ○ 性能约为C++编写的原生静态编译的Filter的70%; ○ 由于需要启动一个或多个WASM虚拟机,因此会消耗一定的内存使用量; ○ The WebAssembly ecosystem is still young; 7 Wasm0 码力 | 23 页 | 2.67 MB | 1 年前3
OpenShift Container Platform 4.4 构建(build)工件,从而能生成可运行的镜像。 5.1.1. 替换 Dockerfile FROM 镜像 您可以将 Dockerfile 中的 FROM 指令替换为 BuildConfig 中的 from。如果 Dockerfile 使用多阶段构 建,最后一个 FROM 指令中的镜像将被替换。 流程 流程 将 Dockerfile 中的 FROM 指令替换为 BuildConfig 中的 from。 5.1.2. 使用 Dockerfile s2i/environment 文件,则 S2I 会在构建期间读取此文件。这允许自定义构建行 为,因为 assembe 脚本可能会使用这些变量。 流程 流程 例如,在构建期间禁用 Rails 应用程序的资产编译: 在 .s2i/environment 文件中添加 DISABLE_ASSET_COMPILATION=true。 除了构建之外,指定的环境变量也可以在运行的应用程序本身中使用。例如,使 Rails 定义中添加环境变量。这里定义的环境变量可在 assemble 脚 本执行期间看到,也会在输出镜像中定义,使它们能够供 run 脚本和应用程序代码使用。 流程 流程 例如,禁用 Rails 应用程序的资产编译: 其他 其他资 资源 源 “构建环境”部分提供了更多高级指导。 sourceStrategy: ... env: - name: "DISABLE_ASSET_COMPILATION"0 码力 | 101 页 | 1.12 MB | 1 年前3
中国移动磐舟DevSecOps平台云原生安全实践安全开发-安全需求分析 安全需求分析通过将安全策略左移至软件开发生命周期的初始阶段,着重在需求设计环节确定关键安全要求,旨在降低风险暴露 并增强产品安全质量。安全团队针对企业内部的业务流程和场景展开威胁建模与风险识别,同时依据实际生产漏洞的运营情况完 善威胁建模知识库,持续优化和维护内部安全需求知识库以适应不断变化的安全挑战。 ①需求分析阶段,分析业务需求,选择相应的安全需求 分类,并添加至安全需求清单列表 分类,并添加至安全需求清单列表 ②根据安全需求清单选择安全设计要求,整理为安全设 计清单 ③编码阶段,研发人员基于安全设计文档,落实与本次 需求相关的安全设计要求 安全开发-软件成分分析SCA 开源软件帮助企业快速提升信息化水平,也引入新风险。开源技术应用、国际形势复杂、软件供应链的多样化, 供应链各个环节的攻击急剧上升,已然成为企业主要的安全威胁。 缺点 低误报率 高检出率 集成灵活 只能检测已知 标 通过将IAST集成到CI/CD流水线,在测试环境的构建过程中自动部署IAST检测逻辑,可以实现与功能测试同步进行的自动化 安全测试,给出漏洞的实际触发路径并提供实际可落地的修复建议。根据需求阶段提出的安全设计方案,配置IAST中的自定义规 则,基于IAST的扫描结果可以实现安全需求设计的闭环管理,大幅减少安全漏洞,有效降低风险暴露时间。 程 序 源 码 程 序 目 标 码 ( 插 桩0 码力 | 22 页 | 5.47 MB | 1 年前3
共 127 条
- 1
- 2
- 3
- 4
- 5
- 6
- 13













