01. Erda 基于云原生的微服务可观测性 - 刘浩杨PaaS 平台 当前微服务系统面临的挑战 目 录 微服务系统监控的挑战 01 可观测性技术理论 02 Erda 服务观测平台技术内核分析 03 Erda 服务观测平台功能概览 04 可观测性三大支柱 (一)Tracing 模型 (二)Metrics 时序模型 Writes are vertical,reads are horizontal (三)数据关联 目 录 微服务系统监控的挑战 通过多种探针,覆盖基础 设施、业务系统、用户终 端全面的数据指标 高实时性 通过流计算平台,数据 处理和告警延迟都在秒 级别 海量数据 存储处理 高性能的大数据处理架 构,轻松应对海量可观 测性数据处理 平台架构 可观测性数据采集 可观测性数据处理 数据存储选择 ES 数据索引管理 自动路由 指标到索引 01 02 03 自动索引滚动 根据容量和 TTL 自动评估数据 删除周期 InfluxQL0 码力 | 25 页 | 6.96 MB | 1 年前3
03. Golang 在隐私计算平台建设中的实践 - 刘敬2021年年7⽉月,美国统⼀一法律律委员会通过了了《统⼀一个⼈人数据保护法案》(UPDPA),明确 提出了了数据处理理相关禁⽌止⾏行行为,确⽴立了了个⼈人数据保护的重要地位。 国内外纷纷出台了了围绕数据使⽤用和保护的公共政策 2021年年6⽉月10⽇日,《中华⼈人⺠民共和国数据安全法》在⼗十三届全国⼈人⼤大常委会正式颁布。 明确指出坚持安全与发展并重,锁定⽀支持促进数据安全与发展的措施;建⽴立保障政务数 数 据安全和推动政务数据开放的制度措施。该法⾃自2021年年9⽉月1⽇日起施⾏行行。 2021年年8⽉月20⽇日,⼗十三届全国⼈人⼤大常委会表决通过《个⼈人信息保护法》,规定任何组 织、个⼈人不不得⾮非法收集、使⽤用、加⼯工、传输他⼈人个⼈人信息,不不得⾮非法买卖、提供或者公 开他⼈人个⼈人信息。该法⾃自2021年年11⽉月1⽇日起施⾏行行。 趣链科技版权所有©2016 – 2021 6 单消费者协程接受处理理后的数据 趣链科技版权所有©2016 – 2021 35 多⽣生产者单消费者协程池抽象 ⽣生产者协程个数默认为cpu核⼼心数 ⽤用于接受处理理后的数据的管道 消费者协程不不断从管道中取出数据处理理 每个⽣生产者协程循环处理理整个数组的⼀一段 将处理理后的数据放到管道 趣链科技版权所有©2016 – 2021 36 bytes和string原地互转 string和bytes共⽤用内存互转,避免额外内存分配(只读场景)0 码力 | 37 页 | 6.20 MB | 1 年前3
Golang大规模云原生应用管理实践0 码力 | 23 页 | 7.70 MB | 1 年前3
1.6 resource scheduling & container technology for financial service_yujun智能模板和堆叠式组件管理系统 深度优化和预置的多层堆叠式开源软件发布和管理系统, 可以在保障版本统一的条件下,智能推送和维护应用模板 运维过程数据的大数据分析系统 自主研发Horus 运维数据处理平台 100% Written by Golang Heavily leveraging Beego framework (Thanks project Gopher China 2015 不喜欢因循守旧的工程师 渴望造点新东西的技术人 看到金融IT行业挑战和机遇的朋友 热爱开源的大粉丝们 我们虚位以待 http://golanghome.com/post/494 Or email : joeyu@bsgchina.com 0 码力 | 21 页 | 27.20 MB | 1 年前3
Go Web编程流程和函数 这小节我们要介绍Go里面的流程控制以及函数操作 流程控制 流程控制 流程控制在编程语言中是最伟大的发明了,因为有了它,你可以通过很简单的流程描述来表达很复杂的逻辑。流程控 制包含分三大类:条件判断,循环控制和无条件跳转。 if if if也许是各种编程语言中最常见的了,它的语法概括起来就是:如果满足条件就做某事,否则做另一件事。 Go里面if条件判断语句中不需要括号,如下代码所示 针有什么好处呢? 57 传指针使得多个函数能操作同一个对象。 传指针比较轻量级 (8bytes),只是传内存地址,我们可以用指针传递体积大的结构体。如果用参数值传递的 话, 在每次copy上面就会花费相对较多的系统开销(内存和时间)。所以当你要传递大的结构体的时候,用 指针是一个明智的选择。 Go语言中string,slice,map这三种类型的实现机制类似指针,所以可以直接传递,而不用取地址后传递 main import "fmt" // 声明一个新的类型 type person struct { name string age int } // 比较两个人的年龄,返回年龄大的那个人,并且返回年龄差 // struct也是传值的 func Older(p1, p2 person) (person, int) { if p1.age>p2.age { // 比较p1和p2这两个人的年龄0 码力 | 295 页 | 5.91 MB | 1 年前3
Go可观测性实践Exporter • Collector OTel Collector • Receiver • Processor • Exporter 微服务业务架构图 项目工程layout 遥测数据处理架构 链路追踪 第二部分 无所不在的部署 持续监控 低消耗 应用级透明 延展性 链路追踪设计目标 链路追踪 Dapper 每个请求都生成一个全局唯一的 t0 码力 | 35 页 | 2.88 MB | 1 年前3
大规模高性能区块链架构设计模式与测试框架-李世敬Layer 轻客户端层 Edge Layer 轻节点层 Gateway Layer 核⼼技术 多类型节点分层部署模式 1 3 动态⾃发现⽹络转发模型 2 ⼤规模组⽹⾼效共识算法 1.提⾼数据处理效率 2.提升终端异构性能⼒ 3.提供实时计算与验证服务 4.解决数据真实性“第⼀公⾥” 问题 ⾯向海量节点⼤规模应⽤场景, ⽀持1000+节点的⽣产级联盟链⽹络, 可以实现数⼗万个多类型区块链⽹络节点分层部署0 码力 | 39 页 | 56.58 MB | 1 年前3
Hello 算法 1.2.0 繁体中文 Go 版內的展示效果有限,可訪問 www.hello‑algo.com 網頁版以獲得更佳的閱讀體驗。 推薦語 “一本通俗易懂的資料結構與演算法入門書,引導讀者手腦並用地學習,強烈推薦演算法初學者閱讀!” ——鄧俊輝,清華大學計算機系教授 “如果我當年學資料結構與演算法時有《Hello 演算法》,學起來應該會簡單 10 倍!” ——李沐,亞馬遜資深首席科學家 電腦的出現為世界帶來了巨大的變革,它憑藉高速的運算能力與卓越的可程式化特性,成為執行演算法 。從巧奪天工的匠人 技藝、到解放生產力的工業產品、再到宇宙運行的科學規律,幾乎每一件平凡或令人驚嘆的事物背後,都隱 藏著精妙的演算法思想。 同樣,資料結構無處不在:大到社會網絡,小到地鐵路線,許多系統都可以建模為“圖”;大到一個國家,小 到一個家庭,社會的主要組織形式呈現出“樹”的特徵;冬天的衣服就像“堆疊”,最先穿上的最後才能脫下; 羽毛球筒則如同“佇列”,一端放入、一端取出;字典就像一個“雜湊表”,能夠快速查找目標詞條。 貨幣找零過程 在以上步驟中,我們每一步都採取當前看來最好的選擇(儘可能用大面額的貨幣),最終得到了可行的找零方 案。從資料結構與演算法的角度看,這種方法本質上是“貪婪”演算法。 小到烹飪一道菜,大到星際航行,幾乎所有問題的解決都離不開演算法。計算機的出現使得我們能夠透過程 式設計將資料結構儲存在記憶體中,同時編寫程式碼呼叫 CPU 和 GPU 執行演算法。這樣一來,我們就能把 生活中的問題0 码力 | 385 页 | 18.80 MB | 10 月前3
使用Go与redis构建有趣的应用内存存储和基于多路路复⽤用的事件响应系统,确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能:事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式(AOF、RDB、 RDB+AOF 混合) • 强⼤大的多机功能⽀支持:主从复制(单主多从)、Sentinel(⾼高可⽤用)、集群(基于 Raft 算法,多 主多从,内建⾼高可⽤用) 特点 • 具有多种不不同的数据结构可⽤用,其中包括:字符串串、散列列、列列表、集合、有序集合、位图 内存存储和基于多路路复⽤用的事件响应系统,确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能:事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式(AOF、RDB、 RDB+AOF 混合) • 强⼤大的多机功能⽀支持:主从复制(单主多从)、Sentinel(⾼高可⽤用)、集群(基于 Raft 算法,多 主多从,内建⾼高可⽤用) • 拥有⽆无限可能性的扩展模块系统:神经⽹网络、全⽂文搜索、JSON “mary” “david” 分值 成员 1.5 ”banana” 2.5 “cherry” 3.7 “apple” 8.3 “durian” 有序集合 各不不相同的多个成员按分值⼤大⼩小进⾏行行排列列、可以按分值顺序或者成员顺序执⾏行行多项有序操作、使⽤用 Skip List 实现 索引 0 1 2 3 4 5 6 7 位 0 1 1 0 1 1 1 0 位图(bitmap)0 码力 | 176 页 | 2.34 MB | 1 年前3
Hello 算法 1.1.0 Go版杂。从巧夺天工的匠人技艺、 到解放生产力的工业产品、再到宇宙运行的科学规律,几乎每一件平凡或令人惊叹的事物背后,都隐藏着精 妙的算法思想。 同样,数据结构无处不在:大到社会网络,小到地铁线路,许多系统都可以建模为“图”;大到一个国家,小 到一个家庭,社会的主要组织形式呈现出“树”的特征;冬天的衣服就像“栈”,最先穿上的最后才能脱下; 羽毛球筒则如同“队列”,一端放入、另一端取出;字典就像一个“哈希表”,能够快速查找目标词条。 1‑3 货币找零过程 在以上步骤中,我们每一步都采取当前看来最好的选择(尽可能用大面额的货币),最终得到了可行的找零方 案。从数据结构与算法的角度看,这种方法本质上是“贪心”算法。 小到烹饪一道菜,大到星际航行,几乎所有问题的解决都离不开算法。计算机的出现使得我们能够通过编程 将数据结构存储在内存中,同时编写代码调用 CPU 和 GPU 执行算法。这样一来,我们就能把生活中的问题 转移到计算机上,以更高效的方式解决各种复杂问题。 为渐近复杂度分析(asymptotic complexity analysis),简称复杂度分析。 复杂度分析能够体现算法运行所需的时间和空间资源与输入数据大小之间的关系。它描述了随着输入数据大 小的增加,算法执行所需时间和空间的增长趋势。这个定义有些拗口,我们可以将其分为三个重点来理解。 ‧“时间和空间资源”分别对应时间复杂度(time complexity)和空间复杂度(space complexity)。0 码力 | 383 页 | 18.48 MB | 1 年前3
共 43 条
- 1
- 2
- 3
- 4
- 5













