1.6 利用夜莺扩展能力打造全方位监控系统利用夜莺扩展能力打造全方位监控系统 喻波 滴滴 专家工程师 目 录 运维监控需求来源 01 监控痛点:全面完备、跨云 02 夜莺介绍: 国产开源监控系统 03 夜莺设计实现:Agentd 数据采集 04 夜莺设计实现:Server 数据处理 05 夜莺设计实现:技术难点及细节 06 运维监控需求来源 第一部分 如果贵司的业务强依赖IT技术,IT故障会直接影响营业收入, 集群版n9e-tsdb 3种存储方案,按需选择 Agentd 夜莺设计实现 Agentd 数据采集 第四部分 监控系统的核心功能,是数据采集、存储、分析、展示,完 备性看采集能力,是否能够兼容并包,纳入更多生态的能力, 至关重要 夜莺数据采集 01.监控数据采集,all in one的agentd Agentd 进程存 活 端口监 控 插件脚 本 日志监 控 网络设 承 • 独创在端上流式读取日志,根据正则提取指标的 机制,轻量易用,无业务侵入性 • 内置集成了多种数据库中间件的采集以及网络设 备的采集,复用telegraf和datadog-agent的能力 • 支持statsd的udp协议,用于业务应用的apm监控 分析 夜莺数据采集 01.监控数据采集,all in one的agentd 夜莺数据采集 02. Autoconfig Forwarder0 码力 | 40 页 | 3.85 MB | 1 年前3
大规模分布式系统架构下调测能力构建之道大规模分布式系统架构下调测能力构建之道 李鑫 大纲 分布式环境下开发的调测效率问题 应对之道 远程应用服务 契约测试 分布式消息服务 分布式缓存 分布式服务的“租户”隔离策略 总体调测框架实践 分布式环境下调测方法论 单体应用 服务化 微服务 小中型规模应用+小型团队 中大型规模应用+多团队协同 Cache DB NFS Load Balancer 解决之道:通过技术手段,降低系统对外部的依赖,而“MOCK”,是最 有效的手段。 分布式服务框架mock能力构建 应用 服务容器(Consumer) Filter Chain 将mock能力内置到分布式服务框架中 开发mock能力过滤器,在服务调用链路上对服务调用进行挡截。 “开关机制”控制mock能力启停 mock能力启用时,服务容器初始化期间将加载mock数据文件到内存中,每个服务请求将和mock数据的入参定 校验接口清单 远程接口A 测试报告 服务注册中心 服务列表 …… 远程接口B … 邮件发送 调用 并 比对结果 CI构建流程 response request 应用服务综合mock能力 在实际应用场景中,应用所依赖的服务往往很分散: 一部分依赖服务从本机的Runtime环境即可获取, 一部分需要从协同团队的远程开发机上临时获取(联调模式), 一部分服务可能还未完成开发并发布,需要通过mock机制进行模拟。0 码力 | 19 页 | 2.74 MB | 1 年前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)云原生安全威胁分析与 能力建设白皮书 中国联通研究院 中国联通网络安全研究院 下一代互联网宽带业务应用国家工程研究中心 2023 年 11 月 版权声明 本报告版权属于中国联合网络通信有限公司研究院,并受法 律保护。转载、摘编或利用其他方式使用本报告文字或者观点的, 应注明“来源:中国联通研究院”。违反上述声明者,本院将追 究其相关法律责任。 云原生安全威胁分析与能力建设白皮书 1 .....................................................................................25 云原生安全威胁分析与能力建设白皮书 2 2.3.4 容器网络攻击............................................................................. .....................................................................................36 云原生安全威胁分析与能力建设白皮书 3 2.6.6 针对函数供应链的攻击........................................................................360 码力 | 72 页 | 2.44 MB | 1 年前3
网易数帆 领先的数字化转型技术与服务提供商 2021、一汽解放、 吉利汽车、壳牌、南方电网、中国移动、中国联通、中国电信、德邦快递 等诸多大中型客户。 以“开放、开源、跨云”为技术理念,网易数帆大力推动技术研究,先后取 得“工信部云计算服务能力标准首批试点单位”、“国家企业技术中心”、“信 通院云计算标准和开源推进委员会成员”、“信通院大数据技术标准推进委 员会成员”、“信创工委会成员”等机构资质。同时,网易数帆积极推动跨厂 商的数 COMPANY 国家级组织资质 国家高新技术企业 国家规划布局内重点软件企业 国家企业技术中心 国家级博士后科研工作站 云计算技术认证资质 信通院可信云服务网格先进级(最高级别)评估 信通院数字化可信服务能力认证(轻舟低代码平台) 可信云微服务评估先进级认证 Kubernetes 一致性认证 华为鲲鹏计算兼容性测试认证 大数据技术机构资质 信通院大数据技术标准推进委员会成员 大数据系统软件浙江省工程实验室 浙江省云计算和大数据省级企业研究院 人工智能技术机构资质 浙江省增强现实与智能交互工程技术研究中心 省级组织资质 浙江省重点企业研究院 浙江省企业技术中心 云计算技术机构资质 工信部云计算服务能力标准首批试点单位 信通院云计算标准和开源推进委员会成员 信通院首批开源供应商 浙江省云计算和大数据省级企业研究院 CNCF 官方认可的 Kubernetes 服务提供商 CNCF KCSP认证 管理体系相关资质0 码力 | 43 页 | 884.64 KB | 1 年前3
【周鸿祎清华演讲】DeepSeek给我们带来的创业机会-360周鸿祎-202502从生成式AI,发展到推理型AI 专家系统 感知AI 认知AI 生成式AI 多模态AI 推理式AI 9政企、创业者必读 人工智能发展历程(二) 从单纯对话的大模型AI,发展到具有行动和执行能力的智能体AI 从数字空间中的AI,走向能理解和操控物理空间的AI 从解决现实问题的AI,走向解决科学问题的科学型AI 大模型AI 智能体AI 物理AI 科学AI 10政企、创业者必读 运之争 • 不发展是最大的不安全, 发挥举国体制优势,打赢 追赶之战 • 大模型带来前所未有安全 挑战 • 外挂式传统安全手段难以 应对 • 应对模型安全新挑战,打 赢未雨绸缪之战 • 大模型是能力而非产品, 结合场景才能发挥价值 • 中国拥有最完整的产业链、 最全的工业门类、最丰富 的场景 • 发挥场景优势,加速传统 产业数转智改,打赢弯道 超车之战 AGI是全球少数玩家的游戏,政府、企业、创业者更多创新的机会在应用之路 14 DeepSeek出现之前的十大预判 之一 传统AGI发展步伐在放慢 需要寻找新方向 Scaling Law边际效应递减 人类训练数据接近枯竭 合成数据无法创造新知识 推理能力难以泛化,成本高昂 全面超越人类的人工智能在逻辑上不成立政企、创业者必读 15 DeepSeek出现之前的十大预判 之二 慢思考成为新的发展模式 大模型发展范式正在从「预训练」转向「后训练」和「推理时计算」0 码力 | 76 页 | 5.02 MB | 5 月前3
2024 中国开源开发者报告键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 社区生态,我们使用了 对开源社区的生态评 估体系,希望通过这些数据洞察中国开源开发者在 AI 技术 领域的活跃度、生产力和创新能力。 OSS Compass 提供了一个公共的平台用来评估开源项目 和社区的健康度,该平台对整个社区开放,支持 GitHub 和 Gitee 等平台托管的开源项目。 16 / 111 OSS Compass 照。以下,我们 将从崛起与变革两个维度,探讨中国开源模型在这一年取得的重大成就和未来展望。 崛起 从“追随者”到“引领者” 2024 年,中国学术界和产业界大力推进自主研发,在技术创新和模型能力上实现了显著飞 跃,并在全球范围内取得了显著成就。 Hugging Face Open LLM 排行榜数据显示,从智谱 的 GLM 系列、阿里巴巴的 Qwen 系列到深度求索的 DeepSeek 和清华大学的 Llama-3.2V-11B-cot。 这些模型不仅在技术上各具特色,还通过开源策略分享了大量研究细节,为整个开源社区提供了 23 / 111 丰富的资源,在这一过程中,小模型不仅在推理能力上有了显著提升,也推动了行业整体技术水 平的进步。 结合当前人工智能产业界的“人工智能+”计划,小模型在特定任务优化上的优势愈发突出, 预计将在金融、医疗和工业自动化等热门领域发挥引领作用,以更高效、更精准的方式满足多样0 码力 | 111 页 | 11.44 MB | 8 月前3
2019-2021 美团技术年货 前端篇统。在传统单设备系统能力的基础上,鸿蒙提出了基于同一套系统能力、适配多种终 端形态的分布式理念。自 2020 年 9 月 HarmonyOS 2.0 发布以来,华为加快了鸿 蒙系统大规模落地的步伐,预计 2021 年底,鸿蒙系统会覆盖包括手机、平板、智能 穿戴、智慧屏、车机在内数亿台终端设备。对移动应用而言,新的系统理念、新的交 互形式,也意味着新的机遇。如果能够利用好鸿蒙的开发生态及其特性能力,可以让 难以估量的。因此,通过打造一套 合适的跨端框架,以相对低的成本移植应用到鸿蒙平台,并利用好该系统的特性能 力,就成为了一个非常重要的选项。 在现有的众多跨端框架当中,Flutter 以其自渲染能力带来的多端高度一致性,在新 系统的适配上有着突出的优势。虽然 Flutter 官方并没有适配鸿蒙的计划,但经过一 段时间的探索和实践,美团外卖 MTFlutter 团队成功实现了 Flutter Flutter 业务 的开发者;中间层为引擎层,使用 C/C++ 开发,实现了 Flutter 的渲染管线和 Dart 运行时等基础能力;最下层为嵌入层,负责与平台相关的能力实现。显然我们要做的 是将嵌入层移植到鸿蒙上,确切地说,我们要通过鸿蒙原生提供的平台能力,重新实 前端 < 3 现一遍 Flutter 嵌入层。 对于 Flutter 嵌入层的适配,Flutter 官方有一份不算详细的指南,实际操作起来成本0 码力 | 738 页 | 50.29 MB | 1 年前3
24-云原生中间件之道-高磊标准化能力-承载无忧-E2E云原生纵深安全保障DevSecOps-1 Applications Data Runtime Middleware OS Virtualization Servers Storage NetWorking PaaS 硬件与虚拟化厂商提供,如果是HCI架构, 作为总体集成方,会降低安全集成成本 可信计算环境:OS安全、TPM加密、TEE可信环境 缘计算盒子,此时攻击面被放大,在云原生环境下安全是一个核心价值,需要立体纵深式的安全保障。 由于云原生DevOps环境追求效率以及运行态的动态治理能力,导致传统安全实施方法、角色、流程、技术 都发生了很多变化,适应这些变化是落地云原生安全的关键! 标准化能力-承载无忧-E2E云原生纵深安全保障-2-商业价值 腾讯安全战略研究部联合腾讯安全联合实验室近日共同发布《产业互联网安全十大趋势(2021 维等维度为产业互联网的安全建设提供前瞻性的参考和指引,助力夯实产业互联网的安全底座。 《趋势》认为,2021年将进一步完善个人信息保护体系,企业对个人信息利用规范化,数字安全合规管理将成为企业的必备能力。与此同时,企业还 应将安全作为“一把手工程”,在部署数字化转型的同时,推进安全前置。 前沿的数字化技术也让产业安全有了更多内涵。5G、AI、隐私计算等技术在构筑数字大楼的同时,不仅带来了全新的安全场景,也成为网络安全攻防0 码力 | 22 页 | 4.39 MB | 6 月前3
2022年美团技术年货 合辑/ 安全 1277 数字化新业态下数据安全创新——Token 化 1277 Linux 中基于 eBPF 的恶意利用与检测机制 1293 如何应对开源组件风险?软件成分安全分析(SCA)能力的建设与演进 1328 算法 < 1 YOLOv6:又快又准的目标检测框架开源啦 作者:楚怡 凯衡 等 1. 概述 YOLOv6 是美团视觉智能部研发的一款目标检测框架,致力于工业应用。本框架 图,显示了硬件中计算能力和内存带宽之间的关联关系。 4 > 2022年美团技术年货 图 2 Roofline Model 介绍图 于是,我们基于硬件感知神经网络设计的思想,对 Backbone 和 Neck 进行了重新 设计和优化。该思想基于硬件的特性、推理框架 / 编译框架的特点,以硬件和编译友 好的结构作为设计原则,在网络构建时,综合考虑硬件计算能力、内存带宽、编译 优化特性、网络表征能力等,进 结构是一种在训练时具有多分支拓扑,而在实际部署时可以等效融 合为单个 3x3 卷积的一种可重参数化的结构(融合过程如下图 3 所示)。通过融合成 的 3x3 卷积结构,可以有效利用计算密集型硬件计算能力(比如 GPU),同时也可 获得 GPU/CPU 上已经高度优化的 NVIDIA cuDNN 和 Intel MKL 编译框架的 帮助。 算法 < 5 实验表明,通过上述策略,YOLOv60 码力 | 1356 页 | 45.90 MB | 1 年前3
云计算白皮书40 余个可用区,并计划在东南亚、新西兰等地再新建 12 个 可用区,建成之后亚太地区的可用区占全球比例将超 50%。 服务能力方面,效率和性能成为云服务商竞争的新手段。随着 用云程度持续加深,用户对云服务的要求从能用转变为好用,促使 云服务商更加关注优质云能力的供给。一是更注重敏捷迭代,提升 效率。用户对加速创新,缩短研发周期,提高迭代效率的需求日益 增大,以 Serverless( 智能云践行“云智一体”发展路线,充分结合 AI 能力与自身云基础 设施能力,发布全栈自研的 AI 大底座。 安全防护方面,云原生安全成为厂商抢占市场的新赛道。近年 来,云原生采纳率大幅攀升,据 Gartner 预测,到 2025 年超过 95% 的应用将会采用云原生技术。与此同时,用户对云原生安全的需求 日渐加强,各大厂商建设重心向高效、灵活、全面的云原生安全转 变。云厂商方面,大力发展云原生安全能力保障云上安全。云原生 原生 的微服务架构、容器化部署等特性对传统安全提出了新的挑战,为 保障云上安全,AWS、微软、阿里云等头部云厂商积极布局云原生 安全体系,完善云原生安全能力。目前,AWS已上线Amazon Inspector、 AWS Security Hub 等云原生安全产品,并持续在 AWS WAF、AWS Guard Duty 等产品中部署云原生安全组件;微软推出 Microsoft Defender0 码力 | 47 页 | 1.22 MB | 1 年前3
共 785 条
- 1
- 2
- 3
- 4
- 5
- 6
- 79













