基于Consul的多Beats接入管控与多ES搜索编排1 梁成 腾讯云, barryliang@tencent.com 基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理,多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入? 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 从Consul中获取当前agent的配置组列表,并 启动多个采集进程 配置变更感知 watch到Consul对应的agent id路径,实时感 知配置变化,并对启动的进程列表做重启清理 等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源 Agent Consul Master 获取master列表 向master发起Agent注册逻辑0 码力 | 23 页 | 6.65 MB | 1 年前3
TypeScript 多场景设计方案及应用实践多场景开发实践 Best practices of TypeScript and Dev in Alibaba TypeScript 陈仲寅(花名:张挺) 就职于 阿⾥里里巴巴淘宝技术部 MidwayJS 团队 zhangting@taobao.com @czy88840616 https://github.com/czy88840616 @czy88840616 MidwayJS 接⼝口时,需要写 JSDoc TS Node.js 测试靠⼈人⾁肉 Node.js Import TypeScript TS 我们都知道 TypeScript 的优势 12 3 类型描述 更更多的 Feature ⽀支持 ⾯面向接⼝口编程 TS 个⼈人开发⾯面向类型编码, 协作时⾯面向接⼝口编程 TS 开发时增加更更多接⼝口定义, 数据定义,参数定义 TS 跨协议转换 TS 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 js/ts ⽬目录混合 TS 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 class ⽤用法,⽆无法多继承 TS 杂糅的 app/ctx 合并机制 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 TS 第⼀一代设计 第⼀一代设计 TS 解决复杂度问题 尝试引⼊入 IoC0 码力 | 95 页 | 8.28 MB | 1 年前3
分布式异地多活架构实践之路讯飞输入法异地多活架构实践之路 凌 军 自我介绍 • 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 • 科大讯飞消费者BG基础平台架构负责人 产品介绍 • 稳居国内输入法第一阵营 • 2010-10~至今 • 4亿用户 • 1.1亿月活 来自:中国科学院《互联网周刊》 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 可用性低 响应时间慢 系统扩容难 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 技术挑战 几十毫秒的延迟; 跨机房性能较慢 机房天然延迟 专线费用高; 专线不稳定 跨机房专线问题 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 业务特点分析 业务分类 业务举例 业务特点 场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等 读多写少 主从模式 (单点写,多点读) 用户个性化数据同步、账号等 读写均衡 多主模式 (多点读写) 分布式日志收集等 写多读少 汇聚模式 (多点写,单点读)0 码力 | 36 页 | 1.66 MB | 1 年前3
开源多集群应用治理项目Clusternet 在多点生活的云原生实践陈鹏 开源多集群应用治理项目 Clusternet 在多点生活的云原生实践 陈鹏 多点生活 平台架构-基础架构工程师 个人简介 • 开源项目 MOSN 核心 Committer • 主要负责容器服务整体架构的设计与开发 • 主导 ServiceMesh 落地相关工作 目录 多集群管理现状 Operator 迭代 反思&重构 整体架构 • 多单元 • 多集群 • 多分组 多种公有云(腾讯云、微软 云等) 核心组件-Symphony CI/CD 业务方使用 对外提供统一API 运行情况展示 应用在多集群运 行状态收集 应用维护,日志 查看,故障排查 应用发布 Operator API • 对使用方屏蔽多单元、多集群的存在 • 提供简单的、无需运维介入的日常维护功能 • 结合监控,可以查看每个实例的运行情况 • 支持离线日志查看,减少对容器的理解 客户端 • CI/CD流程耦合 2019~2020 • 使用 Go 重构 CD 流程 • 多云环境适配 • Service Mesh 落地 • Multi runtime 支持 2021~ • 多商家私有云适配 • HPA 支持 • …… https://github.com/symcn/sym-ops CRD AppSet: spec: chart: "****:v1" clusterTopology:0 码力 | 22 页 | 17.18 MB | 1 年前3
2024 中国开源开发者报告https://huggingface.co/spaces/ zh-ai-community/zh-model-rel ease-heatmap 21 / 111 其中,Qwen 系列凭借灵活的多尺寸选项,强大的多语言支持以及友好的模型授权功能, 赢得了社区开发者的高度评价。DeepSeek 通过引入多头潜在注意力(Multi-head Latent Attention, MLA)技术,在 中国开源模型的发展不仅体现在技术突破上,还在生态建设中展现出巨大的活力。中国开源 模型从竞争激烈的“百模大战”逐步迈向多元化和深度细分,国内社区在今年发布了大量高质量 开源模型,尤其是多模态理解与生成模型: 多模态理解:Qwen2-VL、Ovis、InternVL2、DeepSeek JanusFlow、GOT-OCR2_0; 图片生成:PixArt、Lumina、Kolors、Hunyuan-DiT、VAR、Meissonic; 础要素并不为权力机构垄断,大多要从市场上获得。 26 / 111 大模型作为一项令人激动的技术,商业化场景覆盖了对企业(2B)与对个人(2C)两个 大方向。 大模型赛道在海外是“一超多强”,在国内则是“多头并举”,两种典型的竞争格 局都全了。 以上,大模型赛道的元素非常丰富,各种商业化方法的排列组合都不缺,为我们的分析与推 演提供了可贵的素材。对软件商业化问题感兴趣的朋友一定要长期关注这个赛道。只有这样的对0 码力 | 111 页 | 11.44 MB | 8 月前3
Moonshot AI 介绍正“懂”⼤模型的创业者,所以本⽂中有许多反共识的观点:杨植麟觉得微调最终会不存在, tokenizer最后也不⼀定是必须的;硅⾕⼤模型训练者们担⼼数据瓶颈和能源限制,他反⽽觉得所有问 题都是互相关联的,多模态可以缓解数据短缺,合成数据则可以通过改变计算范式解决能源问题。 本⽂还试图回答另⼀个外界普遍关⼼的问题:⼀家新创⽴的AGI公司如何超越OpenAI?杨植麟的答案 是techvision 以很好地还原⼀些具体细节, 还可以内容做推理。⽤⼾⾃⼰还会发现很多场景,⽐如扔给它50个简历,让它根据你的要求做分析和 筛选。 要做差异化,我认为就是去看这⾥⾯的techspace有多⼤,techspace越⼤,技术、产品、商业层⾯ 能实现的差异化就越⼤。如果技术已经收敛了,那⼤家只能去追赶,就是同质化内卷。 然后我其实⽐较乐观,因为现在仍有巨⼤的techspace。AGI技术可以分为三层: 输⼊是有限的,这就是所谓的数据瓶颈问题,下⼀代AI需要拔掉数据线,做到只要源源不断地输⼊电 ⼒,就能源源不断地输出智能。 这两个核⼼问题导致在第三层有巨⼤的空间,包括long-context、不同模态的⽣成、模型多步规划的 能⼒、指令遵循的能⼒、各种agent的功能等。 这些上层的东西都会有巨⼤的差异化,因为中间存在两个重要的技术变量。我认为这是我们的机会。 除了技术层⾯,价值观上我0 码力 | 74 页 | 1.64 MB | 1 年前3
【周鸿祎清华演讲】DeepSeek给我们带来的创业机会-360周鸿祎-202502从基于小参数模型的感知型AI,走向基于大参数模型的认知型AI 从擅长理解的认知型AI,发展到擅长文字生成的生成式AI 从语言生成式AI,发展到可理解和生成声音、图片、视频的多模态AI 从生成式AI,发展到推理型AI 专家系统 感知AI 认知AI 生成式AI 多模态AI 推理式AI 9政企、创业者必读 人工智能发展历程(二) 从单纯对话的大模型AI,发展到具有行动和执行能力的智能体AI 从数字空间 Deepmind的Alpha系列产品是这一趋势的最佳诠释 16政企、创业者必读 DeepSeek出现之前的十大预判 之四 模型越做越小 17 大模型进入「轻量化」时代,上车上终端,蒸馏小模型 先做得更大,然后探索能做多小政企、创业者必读 DeepSeek出现之前的十大预判 之五 知识的质量和密度决定大模型能力 高质量数据、合成数据使模型知识密度的快速增长 大模型能以更少的参数量达到更高的性能 36 国外:GPT-4等效智能在过去18个月内价格下降240倍 国内:大模型「亏本」卖,可以「白嫖」大模型API能力 19政企、创业者必读 DeepSeek出现之前的十大预判 之七 多模态越来越重要 由文本生成迈向图像、视频、3D内容与世界模拟 多模态模态在能力变强的同时,规模正在变小 20政企、创业者必读 21 DeepSeek出现之前的十大预判 之八 智能体推动大模型快速落地 能够调用各种工具,具有行动能力0 码力 | 76 页 | 5.02 MB | 5 月前3
云时代下多数据计算引擎的设计与实现产品 πDataCS:多计算引擎,包括自研分布式数据库PieCloudDB,自研分布式向量数据库 等. • PieCloudDB 存储底座是各计算引擎的载体. • 已落地或者正在落地:IoT、金融、新能源、医疗等行业. @2024 OpenPie. All rights reserved. OpenPie Confidential 云时代 数据计算 多数据模态支持 广泛的生态支持 “一份数据,多引擎计算”的述求 让数据流动起来 @2024 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 简介 一款云原生分布式 分析型数据库 • 元数据、用户数据、计算完全分离. • 用户数据(code name: Janm)支持 S3/HDFS/Posix. • 架构:Share Nothing on OpenPie Confidential JANM: 大数据计算系 统云存储底座 @2024 OpenPie. All rights reserved. OpenPie Confidential 多计算引擎 内置计算引擎 Postgres执行器 全新的向量化执行引 擎 向量数据库 单机和分布式 Spark 客户依赖 跑批任务 机器学习 …… ... 按需增加 @20240 码力 | 15 页 | 3.09 MB | 1 年前3
2023 中国开源开发者报告Bard,作为其首次亮相的对话 LLM 产品,无疑具有其里程碑意义,尽管它的首秀并不尽 如人意,车翻了又翻。 三、 Claude 2、PaLM 2、Llama 等模型与产品也展现了 LLM 在语言理解和多模态处理能力方面的探索,甚至 Claude 2 还一度被誉为实力可以硬刚 ChatGPT。而 Meta 开源的 Llama 2 更成为了 LLM 领域开源势力的典型代表,它的 出现,犹如一颗投入平静湖面的石子,激荡起层层水波, 可以根据开发者的代码提示自动补 全代码,大大提高了开发效率。这也引发了代码原创性的讨 论,但它已经实实在在将 LLM 拉进了编程应用领域。 六、 LangChain 的出现,实现了 LLM 之间的链式交互,使多 个 LLM 模型串联工作,发挥各自的优势,并且可以将 LLM 模型与外部数据源进行连接,产生更强大的语言理解 和生成效果。这开启了 LLM 集成应用的新方向,并诞生了 一个新的细分领域“LLMOps”。 有人称之为“造商业概念”,这里按下不表。 十、 镜头给到国内。相比国际上当前逢 AI 必 GenAI,国内更 多地还是在 LLM 这一层面,Robin Li 的“卷大模型没意 义,卷应用机会更大”,其实很深刻地指出了内中区别。 本报告以开发者视角为主,从 LLM 切入,但实际上或多 或少与 GenAI 脱不开关系。 2023 年国内 LLM 发展活跃,从最初的百度文心一言“硬 刚”Ch0 码力 | 87 页 | 31.99 MB | 1 年前3
国家人工智能产业综合标准化体系建设指南(2024版)理、数据质量等标准。 2. 智能芯片标准。规范智能芯片相关的通用技术要求,包 括智能芯片架构、指令集、统一编程接口及相关测试要求、芯片 数据格式和协议等标准。 3. 智能传感器标准。规范单模态、多模态新型传感器的接 口协议、性能评定、试验方法等技术要求,包括智能传感器的架 构、指令、数据格式、信息提取方法、信息融合方法、功能集成 方法、性能指标和评价方法等标准。 4. 计算设备标准。规范人工智能加速卡、人工智能加速模 人机混合增强智能标准。规范多通道、多模式和多维度 的交互途径、模式、方法和技术要求,包括脑机接口、在线知识 演化、动态自适应、动态识别、人机协同感知、人机协同决策与 控制等标准。 9. 智能体标准。规范以通用大模型为核心的智能体实例和 10 智能体基本功能、应用架构等技术要求,包括智能体强化学习、 多任务分解、推理、提示词工程,智能体数据接口和参数范围, 人机协作、智能体自主操作、多智能体分布式一致性等标准。 同 控制、任务规划、路径规划、协同决策、组网通信等标准。 11. 跨媒体智能标准。规范文本、图像、视频、音频等多模 态数据处理基础、转换分析、融合应用等方面的技术要求,包括 数据获取与处理、模态转换、模态对齐、融合与协同、应用扩展 等标准。 12. 具身智能标准。规范多模态主动与交互、自主行为学习、 仿真模拟、知识推理、具身导航、群体具身智能等标准。 (四)智能产品与服务标准 智0 码力 | 13 页 | 701.84 KB | 1 年前3
共 940 条
- 1
- 2
- 3
- 4
- 5
- 6
- 94













