基于Consul的多Beats接入管控与多ES搜索编排1 梁成 腾讯云, barryliang@tencent.com 基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理,多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入? 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 CgroupQuato Actions CMDBs IPs Dockers HostGroup CgroupQuota Cgroup CpuLimit Nice值调整 Kill机制 8 Agent管理 时序图 Agent注册 Agent启动首先向Consul获取Master服务列表, 并向Master发起Agent注册逻辑,获取agent id 配置获取 从Cons0 码力 | 23 页 | 6.65 MB | 1 年前3
Debian 参考手册(版本 2.109)Debian 参考手册 i Debian 参考手册 Osamu Aoki (青木修) Debian 参考手册 ii 版权 © 2013-2021 青木修 Debian 参考手册(版本 2.109)(2023-12-18 14:53:01 UTC) 旨在作为一份 Debian 系统安装后的用户指南,为 Debian 系 统的使用与管理提供广泛的概览。它通过为非开发者编写的 shell 命令示例来涵盖系统管理的方方面面。 的混合源档案库软件包 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 2.7.7 使用 apt-pinning 调整获选版本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 2.7.8 阻止推荐的软件包的安装 . . . . . 70 2.7.9 使用带有 unstable 软件包的 testing 版本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 2.7.10 使用带有 experimental 软件包的 unstable 版本 . . . . . . . . . . . . . . . . . . . . . . .0 码力 | 261 页 | 1.39 MB | 1 年前3
MySQL ZIP Archive版本安装说明MySQL ZIP Archive版本安装说明 1 系统环境 硬件 Surface Pro 4; 操作系统 Windows 10专业版 16299.19 64bit; MySQL MySQL Community Server 5.7.20,Windows (x86,64bit) ZIP Archive; MySQL安装路径 C:\MySQL,请视自己计算机情况选择安装目录。 2 2 软件下载 MySQL下载地址:https://dev.mysql.com/downloads/mysql/ 下载版本:Windows (x86, 64-bit), ZIP Archive,mysql-5.7.20-winx64.zip 3 软件安装 使用管理员权限打开命令提示符,步骤:开始菜单选择Windows系统 - 命令提示符 - 在其上点击右键选择 - 更多 - 以管 理员身份运行。0 码力 | 4 页 | 756.23 KB | 1 年前3
Doris的数据导入机制以及原子性保证由百度自研,2017年开源,2018年贡献给Apache社区后更名为 Apache Doris 系统定位 • 百度内部统称其为“百度数据仓库Palo”,同时百度云上提供Palo的企业级托管版本 发展历程 01 02 03 • 1.0版本正式上线 • 应用于百度凤巢统计报表的 需求场景,上线后数据更新 频率从天级提升至分钟级 2008 • 进行了通用化改造,开始承 接公司内部其他报表系统 • 助力百度统计成为国内最大 中的导入 Prepared 事务和两阶段提交 • FE 充当协调者 • Prepare 阶段下发任务和写入数据 • Submit阶段 • 数据状态改为COMMITED • publish 版本 • 状态改为 VISIBLE Request-to-prepare Commit/Abort Done Coordinator Participant Prepare Phase Commit Phase Prepare Txn • 创建事务 • 规划导入执行计划 • 分发子任务 03 Doris 中的导入 FE Leader Analyzer FE Follower 数据版本 N 事务状态 PREPARE 事务管理 1.Begin Txn Phase 1 Execute Txn • 接受查询计划 • 初始化ScanNode • 初始化 TableSink和0 码力 | 33 页 | 21.95 MB | 1 年前3
PieCloudDB Database V2.1 版本说明Release Note 版本号:V2.1 发布日期:2022 年 10 月 内 核 • 聚集下推功能得到增强:通过把聚集操作下推到连接操作之前去执行,极大的减 少连接操作需要处理的数据量,使得查询性能显著提升。 • 实现了 Block Skipping 的优化机制:数据库运行查询语句时,通过计算每个块 (block)中列聚集信息,在执行期间跳过非必要的数据块,减少数据读取量提高查询性 实现极速 Analyze,更快的生 成精确的查询规划统计信息,从而在查询时可以生成更优的查询计划。 • 全新的缓存机制:在 PieCloudDB 的计算层,各个计算节点针对元数据都设计了 多层缓存结构。 其中,针对元数据,PieCloudDB 实现了元数据层全新的缓存机制,有效减少了访问元 数据服务器带来的网络通信开销和元数据服务器的负载,提高元数据访问的速度。 • 可观察性增强:0 码力 | 3 页 | 257.15 KB | 1 年前3
NJSD eBPF 技术文档 - 0924版本基于FUSE的实现 • curve / ceph / gluster • LD_PRELOAD重载⽂件系统系统调⽤ • vpp / f-stack / DirectFUSE • Kernel版本实现 • BentoFS 基于rust的实现采⽤LD_Preload⽅式瓶颈分析 • 环境 • FUSE daemon使⽤ passthrough_ll 调⽤底层ext4 • 进程共享内存通信延迟10us+ 通过贡献代码、丰富⽂档、提交issue、改进⽹站、交流分享等,提⾼⾃⼰专业 能⼒的同时还可以提升个⼈影响⼒、扩展⼈脉。 • 项⽬https://github.com/opencurve/curve • 版本发布周期:每半年⼀个⼤版本,1~2个⽉⼀个⼩版本 • 了解Curve进展:每隔2周的Curve周会说明Curve进展以及讨论相关问题 • 提交bug与建议:http://github.com/opencurve/curve/issues0 码力 | 20 页 | 7.40 MB | 6 月前3
Java 应用与开发 - Java 内存模型与分配机制大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 Java 应用与开发 Java 内存模型与分配机制 王晓东 wangxiaodong@ouc.edu.cn 中国海洋大学 September 30, 2018 大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 学习目标 1. 理解 JVM 内存模型,掌握 JVM 内存构成 2 Java 程序内存运行分析 Java 内存管理建议 大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 Java 垃圾回收机制 JVM 的垃圾回收机制(GC)决定对象是否是垃圾对象,并进行 回收。 O 垃圾回收机制的特点 ▶ 垃圾内存并不是用完了马上就被释放,所以会产生内存释放 不及时的现象,从而降低内存的使用效率。而当程序庞大的 时候,这种现象更为明显。 ▶0 码力 | 44 页 | 818.30 KB | 1 年前3
TypeScript 多场景设计方案及应用实践多场景开发实践 Best practices of TypeScript and Dev in Alibaba TypeScript 陈仲寅(花名:张挺) 就职于 阿⾥里里巴巴淘宝技术部 MidwayJS 团队 zhangting@taobao.com @czy88840616 https://github.com/czy88840616 @czy88840616 MidwayJS 接⼝口时,需要写 JSDoc TS Node.js 测试靠⼈人⾁肉 Node.js Import TypeScript TS 我们都知道 TypeScript 的优势 12 3 类型描述 更更多的 Feature ⽀支持 ⾯面向接⼝口编程 TS 个⼈人开发⾯面向类型编码, 协作时⾯面向接⼝口编程 TS 开发时增加更更多接⼝口定义, 数据定义,参数定义 TS 跨协议转换 TS BFF 场景,⽽而淘宝有不不少全栈场景 js/ts ⽬目录混合 TS 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 class ⽤用法,⽆无法多继承 TS 杂糅的 app/ctx 合并机制 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 TS 第⼀一代设计 第⼀一代设计 TS 解决复杂度问题 尝试引⼊入 IoC 解决复杂业务的问题0 码力 | 95 页 | 8.28 MB | 1 年前3
NetBackup™ for SQLite 管理指南: Windows 和 Linux - 版本:10.2NetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.2 NetBackup™ for SQLite 管理指南 上次更新时间: 2023-04-28 法律声明 Copyright © 2023 Veritas Technologies LLC. © 2023 年 Veritas Technologies LLC 版权所 有。All rights .com 日本 文档 请确保您的文档是最新版本。每个文档都在第 2 页上显示上次更新日期。最新的文档可在 Veritas 网站上找到: https://sort.veritas.com/documents 文档反馈 您的反馈对我们非常重要。请提出您对本文档的改进建议,或者就本文档中的错误或疏漏进 行报告。请注明所报告文本的文档标题、文档版本和章节标题。发送反馈到: NB.docs@veritas 扩展了 NetBackup 的功能,以包括备份和还原 SQLite 数据库的功能。代理支持 SQLite 版本 3.10.0 及更高版本。 NetBackup for SQLite 可与 NetBackup 客户端一起使用。 注意:确保所有 NetBackup 主机均为同一 NetBackup 版本,以便成功执行备份和 还原操作。 此外,代理还支持: ■ 验证备份。 ■ 查询备份和还原。 ■0 码力 | 29 页 | 675.75 KB | 1 年前3
多租户Kubernetes VM Solutions for Multi-Tenant Applications0 码力 | 33 页 | 3.34 MB | 1 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100













