 基于Consul的多Beats接入管控与多ES搜索编排1 梁成 腾讯云, barryliang@tencent.com 基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理,多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入? 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 从Consul中获取当前agent的配置组列表,并 启动多个采集进程 配置变更感知 watch到Consul对应的agent id路径,实时感 知配置变化,并对启动的进程列表做重启清理 等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源 Agent Consul Master 获取master列表 向master发起Agent注册逻辑0 码力 | 23 页 | 6.65 MB | 1 年前3 基于Consul的多Beats接入管控与多ES搜索编排1 梁成 腾讯云, barryliang@tencent.com 基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理,多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入? 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 从Consul中获取当前agent的配置组列表,并 启动多个采集进程 配置变更感知 watch到Consul对应的agent id路径,实时感 知配置变化,并对启动的进程列表做重启清理 等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源 Agent Consul Master 获取master列表 向master发起Agent注册逻辑0 码力 | 23 页 | 6.65 MB | 1 年前3
 rocketmq 服务部署链滴 rocketmq 服务部署 作者:gitsilence 原文链接:https://ld246.com/article/1632123166220 来源网站:链滴 许可协议:署名-相同方式共享 4.0 国际 (CC BY-SA 4.0) 摘自:https://zhuanlan.zhihu.com/p/226173170 rocketmq源码构建 系统:Mac OS 12.0 │ ├── mqnamesrv │ ├── mqnamesrv.cmd │ ├── mqshutdown │ ├── mqshutdown.cmd 原文链接:rocketmq 服务部署 │ ├── os.sh │ ├── play.cmd │ ├── play.sh │ ├── runbroker.cmd │ ├── runbroker.sh │ ├── -1.6.0.jar ├── javassist-3.20.0-GA.jar ├── javax.annotation-api-1.3.2.jar 原文链接:rocketmq 服务部署 ├── jcommander-1.72.jar ├── jna-4.2.2.jar ├── kotlin-stdlib-1.4.10.jar ├── kotlin-stdlib-common-10 码力 | 11 页 | 284.35 KB | 1 年前3 rocketmq 服务部署链滴 rocketmq 服务部署 作者:gitsilence 原文链接:https://ld246.com/article/1632123166220 来源网站:链滴 许可协议:署名-相同方式共享 4.0 国际 (CC BY-SA 4.0) 摘自:https://zhuanlan.zhihu.com/p/226173170 rocketmq源码构建 系统:Mac OS 12.0 │ ├── mqnamesrv │ ├── mqnamesrv.cmd │ ├── mqshutdown │ ├── mqshutdown.cmd 原文链接:rocketmq 服务部署 │ ├── os.sh │ ├── play.cmd │ ├── play.sh │ ├── runbroker.cmd │ ├── runbroker.sh │ ├── -1.6.0.jar ├── javassist-3.20.0-GA.jar ├── javax.annotation-api-1.3.2.jar 原文链接:rocketmq 服务部署 ├── jcommander-1.72.jar ├── jna-4.2.2.jar ├── kotlin-stdlib-1.4.10.jar ├── kotlin-stdlib-common-10 码力 | 11 页 | 284.35 KB | 1 年前3
 TypeScript 多场景设计方案及应用实践多场景开发实践 Best practices of TypeScript and Dev in Alibaba TypeScript 陈仲寅(花名:张挺) 就职于 阿⾥里里巴巴淘宝技术部 MidwayJS 团队 zhangting@taobao.com @czy88840616 https://github.com/czy88840616 @czy88840616 MidwayJS 接⼝口时,需要写 JSDoc TS Node.js 测试靠⼈人⾁肉 Node.js Import TypeScript TS 我们都知道 TypeScript 的优势 12 3 类型描述 更更多的 Feature ⽀支持 ⾯面向接⼝口编程 TS 个⼈人开发⾯面向类型编码, 协作时⾯面向接⼝口编程 TS 开发时增加更更多接⼝口定义, 数据定义,参数定义 TS 跨协议转换 TS 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 js/ts ⽬目录混合 TS 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 class ⽤用法,⽆无法多继承 TS 杂糅的 app/ctx 合并机制 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 TS 第⼀一代设计 第⼀一代设计 TS 解决复杂度问题 尝试引⼊入 IoC0 码力 | 95 页 | 8.28 MB | 1 年前3 TypeScript 多场景设计方案及应用实践多场景开发实践 Best practices of TypeScript and Dev in Alibaba TypeScript 陈仲寅(花名:张挺) 就职于 阿⾥里里巴巴淘宝技术部 MidwayJS 团队 zhangting@taobao.com @czy88840616 https://github.com/czy88840616 @czy88840616 MidwayJS 接⼝口时,需要写 JSDoc TS Node.js 测试靠⼈人⾁肉 Node.js Import TypeScript TS 我们都知道 TypeScript 的优势 12 3 类型描述 更更多的 Feature ⽀支持 ⾯面向接⼝口编程 TS 个⼈人开发⾯面向类型编码, 协作时⾯面向接⼝口编程 TS 开发时增加更更多接⼝口定义, 数据定义,参数定义 TS 跨协议转换 TS 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 js/ts ⽬目录混合 TS 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 class ⽤用法,⽆无法多继承 TS 杂糅的 app/ctx 合并机制 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 TS 第⼀一代设计 第⼀一代设计 TS 解决复杂度问题 尝试引⼊入 IoC0 码力 | 95 页 | 8.28 MB | 1 年前3
 分布式异地多活架构实践之路讯飞输入法异地多活架构实践之路 凌 军 自我介绍 • 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 • 科大讯飞消费者BG基础平台架构负责人 产品介绍 • 稳居国内输入法第一阵营 • 2010-10~至今 • 4亿用户 • 1.1亿月活 来自:中国科学院《互联网周刊》 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 可用性低 响应时间慢 系统扩容难 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 技术挑战 几十毫秒的延迟; 跨机房性能较慢 机房天然延迟 专线费用高; 专线不稳定 跨机房专线问题 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 业务特点分析 业务分类 业务举例 业务特点 场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等 读多写少 主从模式 (单点写,多点读) 用户个性化数据同步、账号等 读写均衡 多主模式 (多点读写) 分布式日志收集等 写多读少 汇聚模式 (多点写,单点读)0 码力 | 36 页 | 1.66 MB | 1 年前3 分布式异地多活架构实践之路讯飞输入法异地多活架构实践之路 凌 军 自我介绍 • 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 • 科大讯飞消费者BG基础平台架构负责人 产品介绍 • 稳居国内输入法第一阵营 • 2010-10~至今 • 4亿用户 • 1.1亿月活 来自:中国科学院《互联网周刊》 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 可用性低 响应时间慢 系统扩容难 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 技术挑战 几十毫秒的延迟; 跨机房性能较慢 机房天然延迟 专线费用高; 专线不稳定 跨机房专线问题 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 业务特点分析 业务分类 业务举例 业务特点 场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等 读多写少 主从模式 (单点写,多点读) 用户个性化数据同步、账号等 读写均衡 多主模式 (多点读写) 分布式日志收集等 写多读少 汇聚模式 (多点写,单点读)0 码力 | 36 页 | 1.66 MB | 1 年前3
 以外部模式部署OpenShift Container StorageHat OpenShift Container Storage 4.6 以外部模式部署 OpenShift Container Storage 如何安装和配置您的环境 Last Updated: 2023-06-08 Red Hat OpenShift Container Storage 4.6 以外部模式部署 OpenShift Container Storage 如何安装和配置您的环境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 目 目录 录 第 第 1 章 章 以外部模式部署概述 以外部模式部署概述 第 第 2 章 章 为 为基于 基于 RED HAT ENTERPRISE LINUX 的 的节 节点上的容器 点上的容器启 启用文件系 用文件系统访问 统访问 第 第 3 章 章 6 以外部模式部署 以外部模式部署 OpenShift Container Storage 2 第 1 章 以外部模式部署概述 Red Hat OpenShift Container Storage 可以使用外部托管的 Red Hat Ceph Storage (RHCS) 集群作为存 储供应商。此部署类型支持裸机和用户置备的 VMware 环境。如需更多信息,请参阅规划部署。 有关如何安装0 码力 | 29 页 | 738.90 KB | 1 年前3 以外部模式部署OpenShift Container StorageHat OpenShift Container Storage 4.6 以外部模式部署 OpenShift Container Storage 如何安装和配置您的环境 Last Updated: 2023-06-08 Red Hat OpenShift Container Storage 4.6 以外部模式部署 OpenShift Container Storage 如何安装和配置您的环境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 目 目录 录 第 第 1 章 章 以外部模式部署概述 以外部模式部署概述 第 第 2 章 章 为 为基于 基于 RED HAT ENTERPRISE LINUX 的 的节 节点上的容器 点上的容器启 启用文件系 用文件系统访问 统访问 第 第 3 章 章 6 以外部模式部署 以外部模式部署 OpenShift Container Storage 2 第 1 章 以外部模式部署概述 Red Hat OpenShift Container Storage 可以使用外部托管的 Red Hat Ceph Storage (RHCS) 集群作为存 储供应商。此部署类型支持裸机和用户置备的 VMware 环境。如需更多信息,请参阅规划部署。 有关如何安装0 码力 | 29 页 | 738.90 KB | 1 年前3
 使用IBM Cloud 部署OpenShift Data Foundation4.12 使用 IBM Cloud 部署 OpenShift Data Foundation 使用 IBM 云部署 Red Hat OpenShift Data Foundation 的说明 Last Updated: 2023-12-21 Red Hat OpenShift Data Foundation 4.12 使用 IBM Cloud 部署 OpenShift Data Foundation Foundation 使用 IBM 云部署 Red Hat OpenShift Data Foundation 的说明 法律通告 法律通告 Copyright © 2023 Red Hat, Inc. The text of and illustrations in this document are licensed by Red Hat under a Creative Commons Attribution–Share IBM CLOUD 部署 部署 OPENSHIFT DATA FOUNDATION 1.1. 在 IBM CLOUD PUBLIC 上部署 1.2. 在 IBM CLOUD SATELLITE 上部署 3 4 5 5 5 目 目录 录 1 Red Hat OpenShift Data Foundation 4.12 使用 使用 IBM Cloud 部署 部署 OpenShift0 码力 | 10 页 | 111.86 KB | 1 年前3 使用IBM Cloud 部署OpenShift Data Foundation4.12 使用 IBM Cloud 部署 OpenShift Data Foundation 使用 IBM 云部署 Red Hat OpenShift Data Foundation 的说明 Last Updated: 2023-12-21 Red Hat OpenShift Data Foundation 4.12 使用 IBM Cloud 部署 OpenShift Data Foundation Foundation 使用 IBM 云部署 Red Hat OpenShift Data Foundation 的说明 法律通告 法律通告 Copyright © 2023 Red Hat, Inc. The text of and illustrations in this document are licensed by Red Hat under a Creative Commons Attribution–Share IBM CLOUD 部署 部署 OPENSHIFT DATA FOUNDATION 1.1. 在 IBM CLOUD PUBLIC 上部署 1.2. 在 IBM CLOUD SATELLITE 上部署 3 4 5 5 5 目 目录 录 1 Red Hat OpenShift Data Foundation 4.12 使用 使用 IBM Cloud 部署 部署 OpenShift0 码力 | 10 页 | 111.86 KB | 1 年前3
 K8S安装部署开放服务2-0 --disableexcludes=kubernetes #将 kubelet 设置为开机自启动 systemctl enable kubelet.service E. 部署 k8s master 节点 Step1: kubeadm.yaml vi kubeadm.yaml apiVersion: kubeadm.k8s.io/v1beta2 kind: NAME STATUS ROLES AGE VERSION k8s-master Ready master 27m v1.18.2 F. 部署 k8s node 节点 Step1: k8s master 上查看/创建 token、生成证书摘要 kubeadm token list kubeadmin token create --ttl k8s-node3 Ready K8S安装部署开放服务2-0 --disableexcludes=kubernetes #将 kubelet 设置为开机自启动 systemctl enable kubelet.service E. 部署 k8s master 节点 Step1: kubeadm.yaml vi kubeadm.yaml apiVersion: kubeadm.k8s.io/v1beta2 kind: NAME STATUS ROLES AGE VERSION k8s-master Ready master 27m v1.18.2 F. 部署 k8s node 节点 Step1: k8s master 上查看/创建 token、生成证书摘要 kubeadm token list kubeadmin token create --ttl k8s-node3 Ready- 10m v1.18.2 k8s-node4 Ready - 43s v1.18.2 G. 部署 traefik See https://cloud.tencent.com/developer/article/1636080 Step1: 创建 crd vi 1-crd.yaml 0 码力 | 54 页 | 1.23 MB | 1 年前3
 Red Hat OpenShift Data Foundation 4.12 规划部署OpenShift Data Foundation 4.12 规划部署 部署 Red Hat OpenShift Data Foundation 4.12 时的重要注意事项 Last Updated: 2024-01-26 Red Hat OpenShift Data Foundation 4.12 规划部署 部署 Red Hat OpenShift Data Foundation 4 trademarks are the property of their respective owners. 摘要 摘要 有关规划 Red Hat OpenShift Data Foundation 部署时的重要注意事项,请参阅本文档。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . DATA FOUNDATION 介 介绍 绍 第 第 2 章 章 OPENSHIFT DATA FOUNDATION 基 基础 础架 架构 构 2.1. 关于 OPERATOR 2.2. 存储集群部署方法 2.3. 节点类型 第 第 3 章 章 内部存 内部存储 储服 服务 务 第 第 4 章 章 外部存 外部存储 储服 服务 务 第 第 5 章 章 安全考 安全考虑 虑 5.1. FIPS-140-20 码力 | 37 页 | 620.41 KB | 1 年前3 Red Hat OpenShift Data Foundation 4.12 规划部署OpenShift Data Foundation 4.12 规划部署 部署 Red Hat OpenShift Data Foundation 4.12 时的重要注意事项 Last Updated: 2024-01-26 Red Hat OpenShift Data Foundation 4.12 规划部署 部署 Red Hat OpenShift Data Foundation 4 trademarks are the property of their respective owners. 摘要 摘要 有关规划 Red Hat OpenShift Data Foundation 部署时的重要注意事项,请参阅本文档。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . DATA FOUNDATION 介 介绍 绍 第 第 2 章 章 OPENSHIFT DATA FOUNDATION 基 基础 础架 架构 构 2.1. 关于 OPERATOR 2.2. 存储集群部署方法 2.3. 节点类型 第 第 3 章 章 内部存 内部存储 储服 服务 务 第 第 4 章 章 外部存 外部存储 储服 服务 务 第 第 5 章 章 安全考 安全考虑 虑 5.1. FIPS-140-20 码力 | 37 页 | 620.41 KB | 1 年前3
 张海宁:使用Kubernetes部署超级账本Fabric使用Kubernetes部署超级账本Fabric 张海宁(Henry Zhang) VMware中国研发现先进技术中心技术总监 SACC2017 自我介绍 • VMware中国研发先进技术中心首席架构师、技术总监 • Harbor开源企业级容器Registry项目创始人 • Cloud Foundry中国社区最早技术布道师之一 • Hyperledger Cello项目贡献者 《区块链技术指南》、《软件定义存储》作者之一 公众号:亨利笔记 《区块链技术指南》 《软件定义存储》 SACC2017 议程 1 超级账本项目概览 2 Kubernetes架构简介 3 用Kubernetes部署Fabric 4 总结 SACC2017 超级账本项目概览 SACC2017 商用区块链的要求 5 共享账本 智能合约 隐私性 共识算法 多方共享数据 访问权限控制 • 互相独立,分别记账 1 6 商店 农场 X A 海关 运输 银行 D E F A,D,X A,E,X A,F,X SACC2017 Fabric v1.0部署方式 17 身份服务 COP 应用 用户A Peer ( Endorser & Committer) Orderer Orderer Orderer Orderer0 码力 | 45 页 | 2.70 MB | 1 年前3 张海宁:使用Kubernetes部署超级账本Fabric使用Kubernetes部署超级账本Fabric 张海宁(Henry Zhang) VMware中国研发现先进技术中心技术总监 SACC2017 自我介绍 • VMware中国研发先进技术中心首席架构师、技术总监 • Harbor开源企业级容器Registry项目创始人 • Cloud Foundry中国社区最早技术布道师之一 • Hyperledger Cello项目贡献者 《区块链技术指南》、《软件定义存储》作者之一 公众号:亨利笔记 《区块链技术指南》 《软件定义存储》 SACC2017 议程 1 超级账本项目概览 2 Kubernetes架构简介 3 用Kubernetes部署Fabric 4 总结 SACC2017 超级账本项目概览 SACC2017 商用区块链的要求 5 共享账本 智能合约 隐私性 共识算法 多方共享数据 访问权限控制 • 互相独立,分别记账 1 6 商店 农场 X A 海关 运输 银行 D E F A,D,X A,E,X A,F,X SACC2017 Fabric v1.0部署方式 17 身份服务 COP 应用 用户A Peer ( Endorser & Committer) Orderer Orderer Orderer Orderer0 码力 | 45 页 | 2.70 MB | 1 年前3
 Deepseek R1 本地部署完全手册《Deepseek R1 本地部署完全⼿册》 版权归:HomeBrew Ai Club 作者wechat:samirtan 版本:V2.0 更新⽇期:2025年2⽉8⽇ ⼀、简介 Deepseek R1 是⽀持复杂推理、多模态处理、技术⽂档⽣成的⾼性能通⽤⼤语⾔模型。本⼿册 为技术团队提供完整的本地部署指南,涵盖硬件配置、国产芯⽚适配、量化⽅案、云端替代⽅ 端替代⽅ 案及完整671B MoE模型的Ollama部署⽅法。 核⼼提示: 个⼈⽤户:不建议部署32B及以上模型,硬件成本极⾼且运维复杂。 企业⽤户:需专业团队⽀持,部署前需评估ROI(投资回报率)。 ⼆、本地部署核⼼配置要求 1. 模型参数与硬件对应表 模型参 数 Windows 配置要求 Mac 配置要求 适⽤场景 1.5B - RAM: 4GB - GPU: 集成显卡/现代CPU 24GB - GPU: RTX 3090(24GB VRAM) - 存储: 20GB - 内存: 32GB(M3 Max) - 存储: 20GB 复杂推理、技术⽂档⽣ 成 32B+ 企业级部署(需多卡并联) 暂不⽀持 科研计算、⼤规模数据 处理 2. 算⼒需求分析 模型 参数规 模 计算精 度 最低显存需 求 最低算⼒需求 DeepSeek-R1 (671B) 671B FP80 码力 | 7 页 | 932.77 KB | 8 月前3 Deepseek R1 本地部署完全手册《Deepseek R1 本地部署完全⼿册》 版权归:HomeBrew Ai Club 作者wechat:samirtan 版本:V2.0 更新⽇期:2025年2⽉8⽇ ⼀、简介 Deepseek R1 是⽀持复杂推理、多模态处理、技术⽂档⽣成的⾼性能通⽤⼤语⾔模型。本⼿册 为技术团队提供完整的本地部署指南,涵盖硬件配置、国产芯⽚适配、量化⽅案、云端替代⽅ 端替代⽅ 案及完整671B MoE模型的Ollama部署⽅法。 核⼼提示: 个⼈⽤户:不建议部署32B及以上模型,硬件成本极⾼且运维复杂。 企业⽤户:需专业团队⽀持,部署前需评估ROI(投资回报率)。 ⼆、本地部署核⼼配置要求 1. 模型参数与硬件对应表 模型参 数 Windows 配置要求 Mac 配置要求 适⽤场景 1.5B - RAM: 4GB - GPU: 集成显卡/现代CPU 24GB - GPU: RTX 3090(24GB VRAM) - 存储: 20GB - 内存: 32GB(M3 Max) - 存储: 20GB 复杂推理、技术⽂档⽣ 成 32B+ 企业级部署(需多卡并联) 暂不⽀持 科研计算、⼤规模数据 处理 2. 算⼒需求分析 模型 参数规 模 计算精 度 最低显存需 求 最低算⼒需求 DeepSeek-R1 (671B) 671B FP80 码力 | 7 页 | 932.77 KB | 8 月前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100














 
  
 