PostgreSQL和Greenplum 数据库故障排查2018年PostgreSQL中国技术大会 PostgreSQL和Greenplum 数据库故障排查 赵振平 zzp@taryartar.com 北京太阳塔信息科技有限责任公司 2018年PostgreSQL中国技术大会 自我介绍 微信号:laohouzi999 2018年PostgreSQL中国技术大会 • 赵振平,太阳塔技术总监 • 电子工业出版社签约作家 • 腾讯最具价值专家(TVP) 出版了技术专著《IT架构实录》 微信号:laohouzi999 2018年PostgreSQL中国技术大会 微信号:laohouzi999 2018年PostgreSQL中国技术大会 PG故障排查 微信号:laohouzi999 2018年PostgreSQL中国技术大会 微信号:laohouzi999 1.安装时候的问题排查 2018年PostgreSQL中国技术大会 微信号:laohouzi999 要 在生产环境中使用。 reject reject是拒绝认证 2018年PostgreSQL中国技术大会 微信号:laohouzi999 4. PostgreSQL启动故障排查 2018年PostgreSQL中国技术大会 微信号:laohouzi999 2018年PostgreSQL中国技术大会 微信号:laohouzi999 2018年PostgreSQL中国技术大会0 码力 | 84 页 | 12.61 MB | 1 年前3
复杂环境下的视觉同时定位与地图构建复杂环境下的视觉同时定位与地图构建 章国锋 浙江大学CAD&CG国家重点实验室 SLAM: 同时定位与地图构建 • 机器人和计算机视觉领域的基本问题 • 在未知环境中定位自身方位并同时构建环境三维地图 • 广泛的应用 • 增强现实、虚拟现实 • 机器人、无人驾驶 SLAM常用的传感器 • 红外传感器:较近距离感应,常用于扫地机器人。 • 激光雷达:单线、多线等。 • 摄像头:单目、双目、多目等。 Google无人车项目Waymo 使用高精度激光雷达构建地图 SLAM应用介绍 • 虚拟/增强现实:Inside-Out方案 目前绝大多数VR头盔都采用 Outside-In的定位方案,需要在环境 中放置一个或多个传感器,活动范 围受限,不支持大范围移动的定位。 基于SLAM技术的VR/AR可以实现Inside-Out方案:将传感器固定在使用者端。 优点:不需要提前布置环境中的传感器,且没有活动范围的限制。 《The 视觉SLAM • 主要传感器 • 单目摄像头 • 双目摄像头 • 多目摄像头 • 其它辅助传感器 • 廉价IMU、GPS • 深度传感器 • 优势 • 硬件成本低廉 • 小范围内定位精度较高 • 无需预先布置场景 基本原理:多视图几何 投影函数 主要模块 • 特征跟踪 • 获得一堆特征点轨迹 • 相机姿态恢复与场景三维结构恢复 • 求解相机参数和三维点云 • 如何处理循环回路序列和多视频序列?0 码力 | 60 页 | 4.61 MB | 1 年前3
14-Chaos Mesh 在网易伏羲私有云自动化故障注入实践-张慧Chaos Mesh 在网易伏羲私有云自动化故障注入实践 Speaker Name:张慧 网易伏羲 Speaker Title:网易伏羲私有云质量保障负责人、Chaos Mesh 布道师、云原生社区 Stability SIG 发起人 Email:zhangui05@corp.netease.com 云 原 生 学 院 目录 网易伏羲私有云简介 为什么混沌测试 什么是混沌测试 指标 量化 什么是混沌测试 什么是混沌测试 混沌工程旨在将故障扼杀在襁褓之中,也就是在故障造成中断之前将它们识别出来。通过主动制 造故障,测试系统在各种压力下的行为,识别并修复故障问题,避免造成严重后果。 混沌工程将预想的事情和实际发生的事情进行对比,通过“有意识搞破坏”来提升系统稳定性。 鲁棒性 故障注入 如何选择混沌测试工具 混沌工具 混沌工具0 码力 | 25 页 | 3.33 MB | 6 月前3
美团点评2018技术年货简单而言,运营资源可以理解为App中经常变动的一些广告、运营活动等等,譬如下图中电影首页顶部的 Banner位,就是一个典型的运营资源。对于这类运营资源,它们有如下明显特征: 1. 时效性,只在一定时间范围内显示在C端固定位置。 2. 城市强相关,这类运营资源往往是基于LBS类服务,每个活动、广告都只会出现在固定的某些城市(或区域)。 基础配置 基础配置 基础配置,常见的有入口资源的配置、网络的配置等。相对运营资源来说,其变更的频繁度相对较低,与 开发的一套开源的分布式实时监控系统。 美团点评基础架构部希望在基础存储、高性能通信、大规模在线访问、服务治理、实时监控、容器化及集 群智能调度等领域提供业界领先的、统一的解决方案,CAT 目前在美团点评的产品定位是应用层的统一 监控组件,在中间件(RPC、数据库、缓存、MQ 等)框架中得到广泛应用,为各业务线提供系统的性能 指标、健康状况、实时告警等服务。 本文会对 CAT 的客户端、性能等做详细深入的介绍,前不久我们也发过一篇 《深度剖析开源分布式监控 CAT》 产品价值 产品价值 减少故障发现时间。 降低故障定位成本。 辅助应用程序优化。 技术优势 技术优势 实时处理:信息的价值会随时间锐减,尤其是在事故处理过程中。 全量数据:全量采集指标数据,便于深度分析故障案例。 高可用:故障的还原与问题定位,需要高可用监控来支撑。 故障容忍:故障不影响业务正常运转、对业务透明。 高吞吐:海量监控数据的收集,需要高吞吐能力做保证。0 码力 | 229 页 | 61.61 MB | 1 年前3
基于 APM 的智能运维体系在京东物流的落地和实践-付正全DevOps 和监控平台有比较深入的了解。目前负责 京东物流火眼监控平台的架构设计和开发工作。 目录 ⚫业界智能运维发展现状及趋势 ⚫智能运维体系建设方法论 ⚫大规模实时监控平台的实践方案 ⚫智能故障定位与处理实践 ⚫ APM 在京东物流的落地实践 ⚫ 智能运维(AIOps)落地规划 业界智能运维发展趋势 新的问题 运维人数不变,管理机器数翻倍 1 2 3 4 正在消失的运维 前端网页 请求 应用B 应用C 服务调用 服务调用 应用F 应用G 服务调用 服务调用 应用H 服务调用 服务调用 服务调用 应用A 数据库 JDBC 前端网页 请求 系统问题定位难 快速发展的APM APM (应用性能管理)市场规模逐年递增 0 10 20 30 40 50 60 70 2014 2015 2016 2017 2018 APM市场规模(亿美元) 架构标准化 架构实施 架构优化 架构运维 运维价值凸显 新运维时代来临 目录 ⚫业界智能运维发展现状及趋势分析 ⚫智能运维体系建设方法论 ⚫大规模实时监控平台的实践方案 ⚫智能故障定位与处理实践 ⚫ APM 在京东物流的落地实践 ⚫智能运维(AIOps)落地规划 智能运维体系建设方法论 ◼统一规划、避免重复建设 ◼标准化是前提 ◼产品化设计、产品化开发 ◼服务驱动0 码力 | 41 页 | 3.52 MB | 1 年前3
Pivotal Greenplum 最佳实践分享Greenplum运维常见问题 Greenplum运维常用命令 Greenplum日常检查和故障处理 Greenplum项目经验分享 目录 Greenplum运维常见问题 Greenplum运维常用命令 Greenplum日常检查和故障处理 Greenplum项目经验分享 内核参数 通常情况下,内核参数按照 Greenplum运维常用命令 Greenplum日常检查和故障处理 Greenplum项目经验分享 Admin常用命令 数据库启动:gpstart 常用可选参数:-a:直接启动,不提示终端使用者输入确 -m:只启动master实例,主要在故障处理时使用 -R:进入限制模式,只有超级用户能访问,常用于系统维护 –r M -f hosts-net0 目录 Greenplum运维常见问题 Greenplum运维常用命令 Greenplum日常检查和故障处理 Greenplum项目经验分享 日常巡检事项 建议定期(每日一次或多次)对系统进行巡检,巡检内容包括: 检查GP总体运行状态 – psql登录数据库,执行select0 码力 | 41 页 | 1.42 MB | 1 年前3
2022年美团技术年货 合辑引入的“Quant”,“DeQuant”节点打破了 原有 TensorRT 的融合策略,导致了很多算子无法融合,从而影响了最终量化引擎 的性能。在这一节中,我们以 YOLOv6s_repopt 为例,展示一种定位具体瓶颈的图 优化方法。在量化实践中,图优化是一个很实用的手段,我们可以依法炮制,提升模 型的 QPS。 算法 < 27 表 5 PTQ 和 QAT 模型的 QPS 对比 3.1.1 性能分析 permutationKernelPLC3 操作,这些操作对应 quantize_scale_node 节点,如下图 8 所示: 28 > 2022年美团技术年货 图 8 permutationKernelPLC3 操作定位 3.1.2 图结构分析 为什么 QAT INT8 会有大量的 permutationKernelPLC3 操作?我们利用 trtexec 和 pltEngine 工具,画出了 PTQ INT8 图数据文件(如下图 7 所示)。最后,如果数据包含节点特征或边特征,还需要 算法 < 77 将特征与压缩后的图对齐。 图 7 压缩后的图数据结构 ● 图的随机查询:查询操作分为两步:首先定位所需的边数据块,然后在内存中 解压数据块,读取所查询的数据。例如在查询节点 u 和 v 是否相连时,首先根 据两个节点的编号计算边数据块的地址,解压数据块后获得少量候选邻接边 (通常不多于 160 码力 | 1356 页 | 45.90 MB | 1 年前3
Nacos架构&原理
年做分布式系统改造时开始建设,特殊之处在于它是整 个分布式系统的协调者和全局入口,也意味着它的可用性,可靠性,可观测性等分布式系统指标影 响整个分布式系统的运行。历史上,这个系统在阿里也触发过大故障,经历过数次血与火的考验。 在阿里数次架构升级中,Nacos 都做了大量的功能迭代,用来支持阿里的异地多活,容灾演练,容 器化,Serverless 化。Nacos 经过阿里内部锤炼十年以上,各项指标已经及其先进,稳定,为服务 问题。 Nacos 也 是在这个大势下应运而生,并且快速成为国内首选。 2018 年产品规划会⼀起到舟山小岛上,关于是否开源的时候面临几个核心问题进行深度讨论,第⼀ 个是我们开源是否晚了,如何定位和打造竞争力;第二是内部有三个产品(Configserver 非持久注 册中心,VIPServer 持久化注册中心,Diamond 配置中心),是开源三个产品还是合成⼀个产品开 源;第三个问题是 10 六点出海打渔,清晨冰冷的海风,摇曳的小船,撒出大网后我们忍受着寒冷,焦急和期望的等待着, 收网时刻只有⼀些小鱼小虾,当然还有螃蟹。 11 > 前言 2018 年开源是否晚了?是否要做?如何定位和打造竞争力? 相比当时比较流行的竞品,我们确实开源晚了⼀些,但是相比于整个行业其实不晚,因为当时云原 生和微服务整个普及度还很低;还有我主管当时还强调两个点,第⼀个点是我们当时是⼀个闭源的 ⼀个软件,经常有业务方跳出来说你看0 码力 | 326 页 | 12.83 MB | 9 月前3
openEuler 21.09 技术白皮书高效智 能运维系统产生,助力企业降本增效。业界 Redhat Insights 以数据驱动结合智能引擎实现故障自动预测、诊断及定位, 将操作系统安全、性能等疑难问题解决周期,从数小时降到几分钟。 openEuler 智能运维推出智能运维基本框架,提供配置溯源,应用拓扑感知,故障定位基础能力,支持快速排障和运维 成本降低。 功能描述 1. 应用拓扑感知:是基于 eBPF 的低负载探针 集群式 OS 配置管理能力,通过用户 自定义域范围,实现配置基线和比较功能,快速排除配置问题。 3. 故障定位:提供专家模式引擎,对系统故障实时感知,及时修复系统故障,减少宕机时间和运维投入。 应用场景 适用于具备较多经验的 OS 维护团队,采用 A-OPS 现有故障树或者新增故障树,可有效提升维护效率,减少宕机时间。 安全策略配置工具 secPaver 是一款 SELinux 安全 Mysql Plasticsearch 数据存储 应用拓扑感知 日志 系统指标 系统状态 故障推导引擎 配置溯源 统一数据管理 agent 数据采集 KPI Customer agent 数据采集 KPI Customer agent 数据采集 KPI Customer secPaver功能定位:端到端的策略开发工具 提供统一策略配置文件格 式,最大程度屏蔽安全机 制细节。 多种安全机制策略一键0 码力 | 35 页 | 3.72 MB | 1 年前3
OpenShift Container Platform 4.7 日志记录Elasticsearch Operator 名称和成熟度等级 OpenShift Elasticsearch Operator 报告 CSV 成功 减少 Elasticsearch pod 证书权限警告 从警报到解释和故障排除的新链接 删除作业的新连接超时 最小化滚动索引模板的更新 1.2.11.2. 技术预览功能 1.2.11.3. 弃用和删除的功能 1.2.11.3.1. Elasticsearch Curator OpenShift Container Platform Logging 2.1.4. 关于查看集群仪表板 2.1.5. 关于 OpenShift Container Platform Logging 故障排除 2.1.6. 关于卸载 OpenShift Container Platform Logging 2.1.7. 关于导出字段 2.1.8. 关于 OpenShift Logging 组件 LOGGING 仪表板 11.2. 关于 OPENSHIFT LOGGING 仪表板 11.3. LOGGING/ELASTICSEARCH 节点仪表板上的图表 第 第 12 章 章 日志故障排除 日志故障排除 12.1. 查看 OPENSHIFT LOGGING 状态 12.1.1. 查看 Red Hat OpenShift Logging Operator 的状态 12.1.1.1. 情况消息示例0 码力 | 183 页 | 1.98 MB | 1 年前3
共 741 条
- 1
- 2
- 3
- 4
- 5
- 6
- 75













