基于Consul的多Beats接入管控与多ES搜索编排1 梁成 腾讯云, barryliang@tencent.com 基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理,多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入? 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 从Consul中获取当前agent的配置组列表,并 启动多个采集进程 配置变更感知 watch到Consul对应的agent id路径,实时感 知配置变化,并对启动的进程列表做重启清理 等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源 Agent Consul Master 获取master列表 向master发起Agent注册逻辑0 码力 | 23 页 | 6.65 MB | 1 年前3
TypeScript 多场景设计方案及应用实践多场景开发实践 Best practices of TypeScript and Dev in Alibaba TypeScript 陈仲寅(花名:张挺) 就职于 阿⾥里里巴巴淘宝技术部 MidwayJS 团队 zhangting@taobao.com @czy88840616 https://github.com/czy88840616 @czy88840616 MidwayJS 接⼝口时,需要写 JSDoc TS Node.js 测试靠⼈人⾁肉 Node.js Import TypeScript TS 我们都知道 TypeScript 的优势 12 3 类型描述 更更多的 Feature ⽀支持 ⾯面向接⼝口编程 TS 个⼈人开发⾯面向类型编码, 协作时⾯面向接⼝口编程 TS 开发时增加更更多接⼝口定义, 数据定义,参数定义 TS 跨协议转换 TS 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 js/ts ⽬目录混合 TS 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 class ⽤用法,⽆无法多继承 TS 杂糅的 app/ctx 合并机制 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 TS 第⼀一代设计 第⼀一代设计 TS 解决复杂度问题 尝试引⼊入 IoC0 码力 | 95 页 | 8.28 MB | 1 年前3
多租户Kubernetes VM Solutions for Multi-Tenant Applications0 码力 | 33 页 | 3.34 MB | 1 年前3
分布式异地多活架构实践之路讯飞输入法异地多活架构实践之路 凌 军 自我介绍 • 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 • 科大讯飞消费者BG基础平台架构负责人 产品介绍 • 稳居国内输入法第一阵营 • 2010-10~至今 • 4亿用户 • 1.1亿月活 来自:中国科学院《互联网周刊》 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 可用性低 响应时间慢 系统扩容难 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 技术挑战 几十毫秒的延迟; 跨机房性能较慢 机房天然延迟 专线费用高; 专线不稳定 跨机房专线问题 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 业务特点分析 业务分类 业务举例 业务特点 场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等 读多写少 主从模式 (单点写,多点读) 用户个性化数据同步、账号等 读写均衡 多主模式 (多点读写) 分布式日志收集等 写多读少 汇聚模式 (多点写,单点读)0 码力 | 36 页 | 1.66 MB | 1 年前3
开源多集群应用治理项目Clusternet 在多点生活的云原生实践陈鹏 开源多集群应用治理项目 Clusternet 在多点生活的云原生实践 陈鹏 多点生活 平台架构-基础架构工程师 个人简介 • 开源项目 MOSN 核心 Committer • 主要负责容器服务整体架构的设计与开发 • 主导 ServiceMesh 落地相关工作 目录 多集群管理现状 Operator 迭代 反思&重构 整体架构 • 多单元 • 多集群 • 多分组 多种公有云(腾讯云、微软 云等) 核心组件-Symphony CI/CD 业务方使用 对外提供统一API 运行情况展示 应用在多集群运 行状态收集 应用维护,日志 查看,故障排查 应用发布 Operator API • 对使用方屏蔽多单元、多集群的存在 • 提供简单的、无需运维介入的日常维护功能 • 结合监控,可以查看每个实例的运行情况 • 支持离线日志查看,减少对容器的理解 客户端 • CI/CD流程耦合 2019~2020 • 使用 Go 重构 CD 流程 • 多云环境适配 • Service Mesh 落地 • Multi runtime 支持 2021~ • 多商家私有云适配 • HPA 支持 • …… https://github.com/symcn/sym-ops CRD AppSet: spec: chart: "****:v1" clusterTopology:0 码力 | 22 页 | 17.18 MB | 1 年前3
多雲一體就是現在:
GOOGLE CLOUD 的
KUBERNETES
混合雲戰略多雲一體就是現在: GOOGLE CLOUD 的 KUBERNETES 混合雲戰略 安玟宇 Wayne An Customer Engineer, Google Cloud WayneAn@google.com 安玟宇 Wayne An Customer Engineer, Google Cloud WayneAn@google.com 多雲一體就是現在: Google Cloud 涵蓋Web/App/DB皆有多 樣化代管服務可以組合出 最適架構 自動化部署 與開放平台以及開發環境 整合,加速應用上線 Google Cloud Taiwan 優勢 Google Infrastructure event driven functions web apps & APIs orchestrate containers infrastructure 使用多層次的架構重塑雲端佈署0 码力 | 32 页 | 2.77 MB | 1 年前3
2020美团技术年货 算法篇比赛冠军技术方案及在美团的实践 113 ICRA 2020 轨迹预测竞赛冠军的方法总结 132 KDD Cup 2020 AutoGraph 比赛冠军技术方案及在美团的实践 141 KDD Cup 2020 多模态召回比赛亚军方案与搜索业务应用 161 CIKM 2020 | 一文详解美团 6 篇精选论文 179 MT-BERT 在文本检索任务中的实践 192 美团无人车引擎在仿真中的实践 204 CenterMask 解读 215 WSDM Cup 2020 检索排序评测任务第一名经验总结 225 美团内部讲座|清华大学莫一林:信息物理系统中的安全控制算法 235 KDD Cup 2020 多模态召回比赛季军方案与搜索业务应用 252 对话任务中的“语言 - 视觉”信息融合研究 267 ICDM 论文:探索跨会话信息感知的推荐模型 278 自然场景人脸检测技术实践 289 技术解析 分为两个简单的步骤:第一步,特 征抽取(找出 x1 与 x2);第二步,模型预估(执行公式 f,获得最终的结果)。 4 > 美团 2020 技术年货 模型预估很简单,从业务工程的视角来看,无论多复杂,它只是一个计算分数的过 程。对于整个运算的优化,无论是矩阵运算,还是底层的 GPU 卡的加速,业界和美 团内部都有比较好的实践。美团也提供了高性能的 TF-Serving 服务(参见《基于0 码力 | 317 页 | 16.57 MB | 1 年前3
2024 中国开源开发者报告https://huggingface.co/spaces/ zh-ai-community/zh-model-rel ease-heatmap 21 / 111 其中,Qwen 系列凭借灵活的多尺寸选项,强大的多语言支持以及友好的模型授权功能, 赢得了社区开发者的高度评价。DeepSeek 通过引入多头潜在注意力(Multi-head Latent Attention, MLA)技术,在 中国开源模型的发展不仅体现在技术突破上,还在生态建设中展现出巨大的活力。中国开源 模型从竞争激烈的“百模大战”逐步迈向多元化和深度细分,国内社区在今年发布了大量高质量 开源模型,尤其是多模态理解与生成模型: 多模态理解:Qwen2-VL、Ovis、InternVL2、DeepSeek JanusFlow、GOT-OCR2_0; 图片生成:PixArt、Lumina、Kolors、Hunyuan-DiT、VAR、Meissonic; 础要素并不为权力机构垄断,大多要从市场上获得。 26 / 111 大模型作为一项令人激动的技术,商业化场景覆盖了对企业(2B)与对个人(2C)两个 大方向。 大模型赛道在海外是“一超多强”,在国内则是“多头并举”,两种典型的竞争格 局都全了。 以上,大模型赛道的元素非常丰富,各种商业化方法的排列组合都不缺,为我们的分析与推 演提供了可贵的素材。对软件商业化问题感兴趣的朋友一定要长期关注这个赛道。只有这样的对0 码力 | 111 页 | 11.44 MB | 8 月前3
Moonshot AI 介绍正“懂”⼤模型的创业者,所以本⽂中有许多反共识的观点:杨植麟觉得微调最终会不存在, tokenizer最后也不⼀定是必须的;硅⾕⼤模型训练者们担⼼数据瓶颈和能源限制,他反⽽觉得所有问 题都是互相关联的,多模态可以缓解数据短缺,合成数据则可以通过改变计算范式解决能源问题。 本⽂还试图回答另⼀个外界普遍关⼼的问题:⼀家新创⽴的AGI公司如何超越OpenAI?杨植麟的答案 是techvision 以很好地还原⼀些具体细节, 还可以内容做推理。⽤⼾⾃⼰还会发现很多场景,⽐如扔给它50个简历,让它根据你的要求做分析和 筛选。 要做差异化,我认为就是去看这⾥⾯的techspace有多⼤,techspace越⼤,技术、产品、商业层⾯ 能实现的差异化就越⼤。如果技术已经收敛了,那⼤家只能去追赶,就是同质化内卷。 然后我其实⽐较乐观,因为现在仍有巨⼤的techspace。AGI技术可以分为三层: 输⼊是有限的,这就是所谓的数据瓶颈问题,下⼀代AI需要拔掉数据线,做到只要源源不断地输⼊电 ⼒,就能源源不断地输出智能。 这两个核⼼问题导致在第三层有巨⼤的空间,包括long-context、不同模态的⽣成、模型多步规划的 能⼒、指令遵循的能⼒、各种agent的功能等。 这些上层的东西都会有巨⼤的差异化,因为中间存在两个重要的技术变量。我认为这是我们的机会。 除了技术层⾯,价值观上我0 码力 | 74 页 | 1.64 MB | 1 年前3
【周鸿祎清华演讲】DeepSeek给我们带来的创业机会-360周鸿祎-202502从基于小参数模型的感知型AI,走向基于大参数模型的认知型AI 从擅长理解的认知型AI,发展到擅长文字生成的生成式AI 从语言生成式AI,发展到可理解和生成声音、图片、视频的多模态AI 从生成式AI,发展到推理型AI 专家系统 感知AI 认知AI 生成式AI 多模态AI 推理式AI 9政企、创业者必读 人工智能发展历程(二) 从单纯对话的大模型AI,发展到具有行动和执行能力的智能体AI 从数字空间 Deepmind的Alpha系列产品是这一趋势的最佳诠释 16政企、创业者必读 DeepSeek出现之前的十大预判 之四 模型越做越小 17 大模型进入「轻量化」时代,上车上终端,蒸馏小模型 先做得更大,然后探索能做多小政企、创业者必读 DeepSeek出现之前的十大预判 之五 知识的质量和密度决定大模型能力 高质量数据、合成数据使模型知识密度的快速增长 大模型能以更少的参数量达到更高的性能 36 国外:GPT-4等效智能在过去18个月内价格下降240倍 国内:大模型「亏本」卖,可以「白嫖」大模型API能力 19政企、创业者必读 DeepSeek出现之前的十大预判 之七 多模态越来越重要 由文本生成迈向图像、视频、3D内容与世界模拟 多模态模态在能力变强的同时,规模正在变小 20政企、创业者必读 21 DeepSeek出现之前的十大预判 之八 智能体推动大模型快速落地 能够调用各种工具,具有行动能力0 码力 | 76 页 | 5.02 MB | 5 月前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100













