 古月《ROS入门21讲》12.话题消息的定义与使用.pdf12.话题消息的定义与使用 主 讲 人 : 古 月 话题模型 自定义话题消息 ➢ ➢ 古月《ROS入门21讲》12.话题消息的定义与使用.pdf12.话题消息的定义与使用 主 讲 人 : 古 月 话题模型 自定义话题消息 ➢ ➢- message_generation - message_runtime ➢ • find_package( …… message_generation) • add_message_files(FILES0 码力 | 9 页 | 1.34 MB | 1 年前3
 基于 APM 的智能运维体系在京东物流的落地和实践-付正全公司内部监控/运维系统繁多,形成数据孤岛 网络拓扑日益复杂,资源云化,虚拟资 源频繁弹性伸缩。不可靠的CMDB 过去1:n → 现在1:10? 越来越复杂的应用拓扑 消息服务器 发消息 应用D 应用E 收消息 收消息 收消息 数据库 分布式 缓存 JDBC JDBC 读缓存 分布式 文件系统 写缓存 存取 应用A 开放平台 API 请求 无线客户端请求 前端网页 请求 TransactionId (TxId) : 全局唯一消 息的ID • SpanId • ParentSpanId (pSpanId) Jtrace应用示例 架构设计 • 分布式事务跟踪,跟踪分布式应用消息 • 自动检测应用拓扑,帮你搞清楚应用的架构 • 水平扩展支持大规模服务器集群 • 提供代码级别的可见性以便轻松定位失败点和瓶颈 • 使用字节码增强技术,添加新功能无需改动代码0 码力 | 41 页 | 3.52 MB | 1 年前3 基于 APM 的智能运维体系在京东物流的落地和实践-付正全公司内部监控/运维系统繁多,形成数据孤岛 网络拓扑日益复杂,资源云化,虚拟资 源频繁弹性伸缩。不可靠的CMDB 过去1:n → 现在1:10? 越来越复杂的应用拓扑 消息服务器 发消息 应用D 应用E 收消息 收消息 收消息 数据库 分布式 缓存 JDBC JDBC 读缓存 分布式 文件系统 写缓存 存取 应用A 开放平台 API 请求 无线客户端请求 前端网页 请求 TransactionId (TxId) : 全局唯一消 息的ID • SpanId • ParentSpanId (pSpanId) Jtrace应用示例 架构设计 • 分布式事务跟踪,跟踪分布式应用消息 • 自动检测应用拓扑,帮你搞清楚应用的架构 • 水平扩展支持大规模服务器集群 • 提供代码级别的可见性以便轻松定位失败点和瓶颈 • 使用字节码增强技术,添加新功能无需改动代码0 码力 | 41 页 | 3.52 MB | 1 年前3
 openEuler 24.03 LTS 技术白皮书openEuler 24.03 LTS 技术白皮书 • 高可用 针对 MGR 进行了大量改进和提升工作,新增支持地理标签、仲裁节点、读写节点可绑定动态 IP、快速单主模式、智能选主, 并针对流控算法、事务认证队列清理算法、节点加入 & 退出机制、recovery 机制等多项 MGR 底层工作机制算法进行深度优化, 进一步提升优化了 MGR 的高可用保障及性能稳定性。 - 支持地理标签特性,提升多机房架构数据可靠性。 支持智能选主特性,高可用切换选主机制更合理。 - 采用全新流控算法,使得事务更平稳,避免剧烈抖动。 - 优化了节点加入、退出时可能导致性能剧烈抖动的问题。 - 优化事务认证队列清理算法,高负载下不复存在每 60 秒性能抖动问题。 - 解决了个别节点上磁盘空间爆满时导致 MGR 集群整体被阻塞的问题。 - 解决了长事务造成无法选主的问题。 - 修复了 recovery 过程中长时间等待的问题。 • 高性能 相对 MySQL 及 Percona Server For MySQL 的性能表现更稳定优异,支持高性能的内存查询加速 AP 引擎、InnoDB 并行查询、 并行 LOAD DATA、事务无锁化、线程池等特性,在 TPC-C 测试中相对 MySQL 性能提升超过 30%,在 TPC-H 测试中的性能 表现是 MySQL 的十几倍甚至上百倍。 - 支持类似 MySQL HeatWave0 码力 | 45 页 | 6.18 MB | 1 年前3 openEuler 24.03 LTS 技术白皮书openEuler 24.03 LTS 技术白皮书 • 高可用 针对 MGR 进行了大量改进和提升工作,新增支持地理标签、仲裁节点、读写节点可绑定动态 IP、快速单主模式、智能选主, 并针对流控算法、事务认证队列清理算法、节点加入 & 退出机制、recovery 机制等多项 MGR 底层工作机制算法进行深度优化, 进一步提升优化了 MGR 的高可用保障及性能稳定性。 - 支持地理标签特性,提升多机房架构数据可靠性。 支持智能选主特性,高可用切换选主机制更合理。 - 采用全新流控算法,使得事务更平稳,避免剧烈抖动。 - 优化了节点加入、退出时可能导致性能剧烈抖动的问题。 - 优化事务认证队列清理算法,高负载下不复存在每 60 秒性能抖动问题。 - 解决了个别节点上磁盘空间爆满时导致 MGR 集群整体被阻塞的问题。 - 解决了长事务造成无法选主的问题。 - 修复了 recovery 过程中长时间等待的问题。 • 高性能 相对 MySQL 及 Percona Server For MySQL 的性能表现更稳定优异,支持高性能的内存查询加速 AP 引擎、InnoDB 并行查询、 并行 LOAD DATA、事务无锁化、线程池等特性,在 TPC-C 测试中相对 MySQL 性能提升超过 30%,在 TPC-H 测试中的性能 表现是 MySQL 的十几倍甚至上百倍。 - 支持类似 MySQL HeatWave0 码力 | 45 页 | 6.18 MB | 1 年前3
 CurveFS Client 概要设计parent,并修改name为newname。 二是,在new parent创建新的inode和dentry,然后删除旧的parent下的inode和dentry 两者都涉及到rename的事务性的问题?( ) 这里可能还需要详细分析到底是否需要完整的事务的4个特性acid,还是只需要实现其中部分 目前阶段rename可先不实现,但是可以先考虑一些方案。 symlink & readlink void (*symlink) server接口获取文件和目录信息等 与现有块设备client交互,调用块设备接口,对卷进行读写。 向上对接fuse接口,协调上述模块交互,实现功能。 main 主函数模块,类似deamon,接收mount消息并处理(fuse session)。 除上述功能以外,还需实现文件系统创建和fuse挂载工具,功能主要是: 创建文件系统,指定文件系统的名字、卷大小(多文件系统)、 扩展文件系统? 挂载fuse0 码力 | 11 页 | 487.92 KB | 6 月前3 CurveFS Client 概要设计parent,并修改name为newname。 二是,在new parent创建新的inode和dentry,然后删除旧的parent下的inode和dentry 两者都涉及到rename的事务性的问题?( ) 这里可能还需要详细分析到底是否需要完整的事务的4个特性acid,还是只需要实现其中部分 目前阶段rename可先不实现,但是可以先考虑一些方案。 symlink & readlink void (*symlink) server接口获取文件和目录信息等 与现有块设备client交互,调用块设备接口,对卷进行读写。 向上对接fuse接口,协调上述模块交互,实现功能。 main 主函数模块,类似deamon,接收mount消息并处理(fuse session)。 除上述功能以外,还需实现文件系统创建和fuse挂载工具,功能主要是: 创建文件系统,指定文件系统的名字、卷大小(多文件系统)、 扩展文件系统? 挂载fuse0 码力 | 11 页 | 487.92 KB | 6 月前3
 告警OnCall事件中心建设方法白皮书
我的做法是把告警分成 3 个级别。 级别 通知渠道 说明 Critical 电话、短信、即时消息、邮件 影响收入的、影响客户的,必须立刻处理 Warning 短信、即时消息、邮件 无需立刻处理,但是如果不处理,时间久了就会 演化为 Critical 的问题,可以先放入 TODO 列 表,手头上的紧急事务搞定之后就去处理 Info 邮件 每天下班前稍微看一眼,偶尔一两天忘了看也无 伤大雅 90%,实际 机器的内存使用率已经 95%,此时就只会发送 Critical 的事件,Info 的就被忽略了。 相关策略配置好之后,就可以收告警了,比如利用钉钉发送,会呈现为一张告警消息卡片: 我们可以直接在钉钉(或飞书、企微等 IM)内部点击跟进,或直接关闭、临时屏蔽,方便地移动办公。 当然,也可以登录 FlashDuty,在 WEB 上查看,需要有个非常直观的页面告诉用户您当前有哪些告0 码力 | 23 页 | 1.75 MB | 1 年前3 告警OnCall事件中心建设方法白皮书
我的做法是把告警分成 3 个级别。 级别 通知渠道 说明 Critical 电话、短信、即时消息、邮件 影响收入的、影响客户的,必须立刻处理 Warning 短信、即时消息、邮件 无需立刻处理,但是如果不处理,时间久了就会 演化为 Critical 的问题,可以先放入 TODO 列 表,手头上的紧急事务搞定之后就去处理 Info 邮件 每天下班前稍微看一眼,偶尔一两天忘了看也无 伤大雅 90%,实际 机器的内存使用率已经 95%,此时就只会发送 Critical 的事件,Info 的就被忽略了。 相关策略配置好之后,就可以收告警了,比如利用钉钉发送,会呈现为一张告警消息卡片: 我们可以直接在钉钉(或飞书、企微等 IM)内部点击跟进,或直接关闭、临时屏蔽,方便地移动办公。 当然,也可以登录 FlashDuty,在 WEB 上查看,需要有个非常直观的页面告诉用户您当前有哪些告0 码力 | 23 页 | 1.75 MB | 1 年前3
 openEuler 21.03 技术白皮书APPS 虚拟化 容器 QEMU Docker libvirt 虚拟化/ 容器 StratoVirt iSula 编译器 应用 桌面系统 UKUI/DDE/Xfce DB Web 资源编排 消息中间件 内核热升级 文件系统 芯片、外设驱动 Linux Kernel 5.10 计算 架构 进程 管理 驱动 框架 内存分层 扩展 IO异步 通讯框架 虚拟化 增强 调度 管理 引领内核创新: 以同时使用多个桌面, 对桌面窗口进行分组管理。 3. 桌面组件:桌面是用户登录后看到的主屏幕区域,在桌面上用户可以根据自己的习惯设置壁纸、屏保等,还可以 增加常用的应用快捷方式。同时包含通知消息、剪贴板等常用组件。 4. 文件管理器:图形化分类管理文件,提供文件操作、检索等;同时提供基础的光盘刻录、外部设备与网络挂载。 5. 任务栏:任务栏是指位于桌面底部的长条,主要由启动器、应用 openEuler 社区的技术领导机构。 技术委员会的主要职责如下 : 1. 技术委员会拥有技术决策的最终裁决权。 2. 决策社区技术的发展愿景和方向。 3. 决策社区 SIG 的成立、撤销、合并等事务。解决 SIG 组之间的协作冲突,辅导、审视和监督 SIG 组的日常运作。 社区愿景 openEuler 社区的愿景是:通过社区合作,打造创新平台,构建支持多处理器架构、统一开放的操作系统社区,0 码力 | 18 页 | 1.30 MB | 1 年前3 openEuler 21.03 技术白皮书APPS 虚拟化 容器 QEMU Docker libvirt 虚拟化/ 容器 StratoVirt iSula 编译器 应用 桌面系统 UKUI/DDE/Xfce DB Web 资源编排 消息中间件 内核热升级 文件系统 芯片、外设驱动 Linux Kernel 5.10 计算 架构 进程 管理 驱动 框架 内存分层 扩展 IO异步 通讯框架 虚拟化 增强 调度 管理 引领内核创新: 以同时使用多个桌面, 对桌面窗口进行分组管理。 3. 桌面组件:桌面是用户登录后看到的主屏幕区域,在桌面上用户可以根据自己的习惯设置壁纸、屏保等,还可以 增加常用的应用快捷方式。同时包含通知消息、剪贴板等常用组件。 4. 文件管理器:图形化分类管理文件,提供文件操作、检索等;同时提供基础的光盘刻录、外部设备与网络挂载。 5. 任务栏:任务栏是指位于桌面底部的长条,主要由启动器、应用 openEuler 社区的技术领导机构。 技术委员会的主要职责如下 : 1. 技术委员会拥有技术决策的最终裁决权。 2. 决策社区技术的发展愿景和方向。 3. 决策社区 SIG 的成立、撤销、合并等事务。解决 SIG 组之间的协作冲突,辅导、审视和监督 SIG 组的日常运作。 社区愿景 openEuler 社区的愿景是:通过社区合作,打造创新平台,构建支持多处理器架构、统一开放的操作系统社区,0 码力 | 18 页 | 1.30 MB | 1 年前3
 openEuler 21.09 技术白皮书完善边缘南向服务:南向接入 Mapper,提供外设 Pofile 及解析机制,以及实现对不同南向外设的管理、控制、 业务流的接入,可兼容 EdgeX Foundry 开源生态; 3. 边缘数据服务:通过边缘数据服务实现消息、数据、媒体流的按需持久化,并具备数据分析和数据导出的能力 4. 边云智能协同架构(Sedna):基于开源 sedna 框架,提供基础的边云协同推理、联邦学习、增量学习等能力, 并实现了基础的 列表的发送方式,跟发送一般的邮箱到私有地址没有 区别,按照平常的方式发送即可,用一对中括号加一个主题作为前缀添加到邮件主题里会是一种很好的实践,但是不是 必须的,Announce 类型的邮件列表只是用于宣布消息或者注意事项,不接受邮件发布。 注意:如果你不能在收件箱中接收到任何邮件信息,请优先检查是否将其归并到垃圾邮箱里了。 如果您想退订某个邮件列表,请参照如下步骤: ① 发送一封以“unsubsc openEuler 社区的技术领导机构。 技术委员会的主要职责如下 : 1. 技术委员会拥有技术决策的最终裁决权。 2. 决策社区技术的发展愿景和方向。 3. 决策社区 SIG 的成立、撤销、合并等事务。解决 SIG 组之间的协作冲突,辅导、审视和监督 SIG 组的日常运作。 4. 落实社区日常开发工作,保证 openEuler 操作系统版本高质量发布。 5. 导社区在体系架构、内核、虚0 码力 | 35 页 | 3.72 MB | 1 年前3 openEuler 21.09 技术白皮书完善边缘南向服务:南向接入 Mapper,提供外设 Pofile 及解析机制,以及实现对不同南向外设的管理、控制、 业务流的接入,可兼容 EdgeX Foundry 开源生态; 3. 边缘数据服务:通过边缘数据服务实现消息、数据、媒体流的按需持久化,并具备数据分析和数据导出的能力 4. 边云智能协同架构(Sedna):基于开源 sedna 框架,提供基础的边云协同推理、联邦学习、增量学习等能力, 并实现了基础的 列表的发送方式,跟发送一般的邮箱到私有地址没有 区别,按照平常的方式发送即可,用一对中括号加一个主题作为前缀添加到邮件主题里会是一种很好的实践,但是不是 必须的,Announce 类型的邮件列表只是用于宣布消息或者注意事项,不接受邮件发布。 注意:如果你不能在收件箱中接收到任何邮件信息,请优先检查是否将其归并到垃圾邮箱里了。 如果您想退订某个邮件列表,请参照如下步骤: ① 发送一封以“unsubsc openEuler 社区的技术领导机构。 技术委员会的主要职责如下 : 1. 技术委员会拥有技术决策的最终裁决权。 2. 决策社区技术的发展愿景和方向。 3. 决策社区 SIG 的成立、撤销、合并等事务。解决 SIG 组之间的协作冲突,辅导、审视和监督 SIG 组的日常运作。 4. 落实社区日常开发工作,保证 openEuler 操作系统版本高质量发布。 5. 导社区在体系架构、内核、虚0 码力 | 35 页 | 3.72 MB | 1 年前3
 Zabbix 5.0 Manual域,为什么会这样? A: 数据丢失,这种情况的发生有多种原因——Zabbix 数据库的性能问题、Zabbix 服务器问题、网络问题、监控设备问题... 5. Q: Zabbix 守护进程无法启动消息监听器,错误信息为: socket() for [[-]:10050] failed with error 22: Invalid argument. A: 当在一个内核 2.6.26 或更低内核版本的操作系统上,试图运行编译的版本为 数 覆 盖 通 用 设 置)。 4 各种协议 4 Protocols 1 Server-proxy 数据交换协议 概述 Server-proxy 数据交换基于 JSON 格式。 请求和响应消息必须以header and data length开头 被动代理 代理配置请求 391 proxy config 请求由服务器发送以提供代理配置数据。每次发送此请求 ProxyConfigFrequency t obtain filesystem information: [2] No such file or directory 4. Server 处理数据, 更改项目状态为不支持并显示指定的错误消息 5. TCP 连接关闭 主动检查 主动检查需要更复杂的处理,agent 必须首先从 server 端检索独立处理监控项的列表。 The servers 主 动 检 查 的 列 表 在 agent0 码力 | 2715 页 | 28.60 MB | 1 年前3 Zabbix 5.0 Manual域,为什么会这样? A: 数据丢失,这种情况的发生有多种原因——Zabbix 数据库的性能问题、Zabbix 服务器问题、网络问题、监控设备问题... 5. Q: Zabbix 守护进程无法启动消息监听器,错误信息为: socket() for [[-]:10050] failed with error 22: Invalid argument. A: 当在一个内核 2.6.26 或更低内核版本的操作系统上,试图运行编译的版本为 数 覆 盖 通 用 设 置)。 4 各种协议 4 Protocols 1 Server-proxy 数据交换协议 概述 Server-proxy 数据交换基于 JSON 格式。 请求和响应消息必须以header and data length开头 被动代理 代理配置请求 391 proxy config 请求由服务器发送以提供代理配置数据。每次发送此请求 ProxyConfigFrequency t obtain filesystem information: [2] No such file or directory 4. Server 处理数据, 更改项目状态为不支持并显示指定的错误消息 5. TCP 连接关闭 主动检查 主动检查需要更复杂的处理,agent 必须首先从 server 端检索独立处理监控项的列表。 The servers 主 动 检 查 的 列 表 在 agent0 码力 | 2715 页 | 28.60 MB | 1 年前3
 Zabbix 6.0 Manual添加了一种新的服务动作 类型,类似于 Zabbix 中的其他动作。服务可能动作包括与服务相关的问题、恢复和更新动作的步骤。可以配置 两种类型的动作:向指定的收件人发送消息和在 Zabbix server 上执行远程命令。与触发动作类似,服务动作支持问题升级场景。 新的消息模板 Service、Service recovery 和 Service update 已添加到媒体类型 中,应该定义为能够正确发送服务动作的通知。 缺失选项)时,不再删除未链接模板的继承实体(模板被取消 链接,而不是取消链接和清除),除非导入文件中缺少这些实体并且特定实体的 删除缺失选项已标记。 由于此更改,标记模板链接的删除缺失选项时的警告消息将不再显示。 使用 Zabbix agent 2 查询 Oracle 数据库中的单独表空间 以下Zabbix agent 2 监控项,支持 Oracle 插件,现在有额外的可选参数: • oracle JavaScript 的 HMAC 函数 JavaScript 引擎中添加了一个新函数,允许返回 HMAC 哈希: • ·hmac(' Zabbix 6.0 Manual添加了一种新的服务动作 类型,类似于 Zabbix 中的其他动作。服务可能动作包括与服务相关的问题、恢复和更新动作的步骤。可以配置 两种类型的动作:向指定的收件人发送消息和在 Zabbix server 上执行远程命令。与触发动作类似,服务动作支持问题升级场景。 新的消息模板 Service、Service recovery 和 Service update 已添加到媒体类型 中,应该定义为能够正确发送服务动作的通知。 缺失选项)时,不再删除未链接模板的继承实体(模板被取消 链接,而不是取消链接和清除),除非导入文件中缺少这些实体并且特定实体的 删除缺失选项已标记。 由于此更改,标记模板链接的删除缺失选项时的警告消息将不再显示。 使用 Zabbix agent 2 查询 Oracle 数据库中的单独表空间 以下Zabbix agent 2 监控项,支持 Oracle 插件,现在有额外的可选参数: • oracle JavaScript 的 HMAC 函数 JavaScript 引擎中添加了一个新函数,允许返回 HMAC 哈希: • ·hmac('- ',key,string) 这对于需要基于散列的消息身份验证代码 (HMAC) 来签署请求的情况很有用。支持 MD5 和 SHA256 哈希类型,例如: ·- ·hmac('md5',key,string) ·- ·hmac('sha256',key 0 码力 | 1741 页 | 22.78 MB | 1 年前3
 CurveFS rename 接口实现方案1. 2. 1. 3. 1. 2. 背景 方案调研 Chubaofs Juicefs 方案实现 方案一:chubaofs 方案二:事务方案 方案三:利用 KV 自带的分布式事务 Q&A 1. 是否需要实现跨文件系统的 rename 操作? 2. 在多客户端情况下,是否需要加锁来保证其原子性? 3. rename 流程举例说明? 例 1:rename KV/DB 中(如 redis、tikv...),而这些 KV 本身就支持事务,所以它只要把这些操作打包成事务扔给 KV 就可以了 如果采用 Juicefs 的方案,我们需要在 metaserver 层实现分布式事务 方案实现 方案一:chubaofs 从以上的分析来看,chubaofs 的方案是可行的,参照其实现就行 方案二:事务方案 前言(关于 MVCC): MVCC ( ) MVCC 可以保证事务 ACID 中的 C(一致性) 和 I(隔离性)) 方案主要借鉴 leveldb 与 etcd(boltdb) 中事务的实现(主要利用 mvcc),方案设计如下:© XXX Page 7 of 15 整体思路如下: 在 MDS 所有 copyset 中增加一个 txid 字段,保存当前 copyset 已成功的事务 id(该事务 id 顺序递增,事务每成功一次则加一)0 码力 | 15 页 | 555.93 KB | 6 月前3 CurveFS rename 接口实现方案1. 2. 1. 3. 1. 2. 背景 方案调研 Chubaofs Juicefs 方案实现 方案一:chubaofs 方案二:事务方案 方案三:利用 KV 自带的分布式事务 Q&A 1. 是否需要实现跨文件系统的 rename 操作? 2. 在多客户端情况下,是否需要加锁来保证其原子性? 3. rename 流程举例说明? 例 1:rename KV/DB 中(如 redis、tikv...),而这些 KV 本身就支持事务,所以它只要把这些操作打包成事务扔给 KV 就可以了 如果采用 Juicefs 的方案,我们需要在 metaserver 层实现分布式事务 方案实现 方案一:chubaofs 从以上的分析来看,chubaofs 的方案是可行的,参照其实现就行 方案二:事务方案 前言(关于 MVCC): MVCC ( ) MVCC 可以保证事务 ACID 中的 C(一致性) 和 I(隔离性)) 方案主要借鉴 leveldb 与 etcd(boltdb) 中事务的实现(主要利用 mvcc),方案设计如下:© XXX Page 7 of 15 整体思路如下: 在 MDS 所有 copyset 中增加一个 txid 字段,保存当前 copyset 已成功的事务 id(该事务 id 顺序递增,事务每成功一次则加一)0 码力 | 15 页 | 555.93 KB | 6 月前3
共 60 条
- 1
- 2
- 3
- 4
- 5
- 6














