Apache Pulsar,云原生时代的消息平台 - 翟佳
持久化(fsync)、⼀致性(ack: all)、多Topic • IO不隔离:消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构: • 存储计算分离 • 分层 + 分⽚ • ⾼性能 + 强⼀致性 • ⽀持统⼀的 Queue 和 Stream 的接⼝。 • 丰富的企业级特性 • 多租户隔离 — 百万Topics — 跨地域复制 的⽣态和社区 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储: BookKeeper streamnative.io Pulsar: 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io Broker 容错 ⽆感知容错 数据均匀分布 ⽆re-balance Pulsar: 云原⽣的架构优势 https://jack-vanlightly.com/sketches/2018/10/2/kafka-vs-pulsar-rebalancing-sketch • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储: BookKeeper Apache0 码力 | 39 页 | 12.71 MB | 6 月前0.03
清华大学 DeepSeek 从入门到精通当人人都会用AI时,你如何用得更好更出彩? 推理模型 • 例如:DeepSeek-R1,GPT-o3在逻辑推理、数学推理和实时问题解决方面表现突出。 推理大模型: 推理大模型是指能够在传统的大语言模型基础上,强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术,比如强化学习、神经符号推理、元学习等,来增强其推理和问题解决能力。 非推理大模型: 适用于大多数任务,非推理大模型一般侧重于语言生成、上下文理解和自然语言处理,而不强 设计公平、包容的AI交互模式 预防和缓解AI可能带来的负面影响 提示语设计的核心技能体系不仅涵盖了技术层面的专 业知识,更强调了认知能力、创新思维和软实力的重 要性。 这些核心技能构成了提示语设计的基础,涵盖了从问 题分析到创意生成,再到结果优化的全过程。 语境理解能力使设计者能够在复杂的社会和文化背景 下工作;抽象化能力有助于提高工作效率和拓展应用 范围;批判性思考是确保AI应用可靠性和公平性的关 常见陷阱与应对:新手必知的提示语设计误区 缺乏迭代陷阱:期待一次性完美结果 陷阱症状: ▪ 过度复杂的初始提示语 ▪ 对初次输出结果不满意就放弃 ▪ 缺乏对AI输出的分析和反馈 应对策略: ▪ 采用增量方法:从基础提示语开始,逐步添加细节和要求。 ▪ 主动寻求反馈:要求AI对其输出进行自我评估,并提供改进建议。 ▪ 准备多轮对话:设计一系列后续问题,用于澄清和改进初始输出。 过度指令和模糊指令陷阱:当细节淹没重点或意图不明确0 码力 | 103 页 | 5.40 MB | 8 月前3
Kubernetes Operator 实践 - MySQL容器化搜狗商业平台 技术体系广 服务多迭代快 搜狗产品矩阵 商业平台 信息流广告 搜索广告 品牌广告 代理商 广告主 技术体系 CRM 广告平台 物料展现 审核平台 大数据平台 基础架构 Golang C++ JavaScript Java Python 质量要求高 业务响应快 故障恢复快 Cluster1 搜狗商业平台业务系统 搜索推广 信息流 品牌 BizNginx 服务发现 灰度发布 监控中心 日志系统 PaaS SaaS 编 译 发 布 授 权 监 控 IaaS Registry SOA服务框架 DevOps 测 试 账户 搜狗商业平台基础平台 物料 计费 管理界面 项目 管理 CI&&CD 统一配 置中心 Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 集群高可用 • 支持 MySQL 集群弹性伸缩 • 支持 MySQL 5.5 & 5.7 Master Slave1 Slave2 MySQL 集群:1 主 2 从 MySQL 容器化系统架构 REST CLI Kubernetes Master API Server Scheduler Controller Manager NodeM kubelet kube-proxy0 码力 | 42 页 | 4.77 MB | 1 年前3
清华大学 DeepSeek+DeepResearch 让科研像聊天一样简单其他常用中文指令 Prompts(指令) 跨学科融合:将“舆论分析”概念与其他领域的最新具有突破性的理论深度结合,提出极其具有创新的交叉领域的十个问题。 探索“舆论分析”概念的基础理论、哲学基础或科学原理等深层次原理,提出挑战这些基础的前所未有的突破性十个问题。 舆论分析这个概念在最前沿科技或理论中的潜在应用,列出十个充满想象力和震撼性,前所未有的应用。 如果要量化研究审美智能概念,请提出一个合理的 够帮助用户从海 量文献中提取核心信息,通过自然语言处理算法,实现从文献梳理到观点提取到研究评论的一键式全自动生成。 产品 概况 功能亮点 功能亮点 多版本与模块化支持:目前提供三个版本(基础版、增 强版、专业版),能够灵活应对不同用户的综述需求。 工具内包括文献观点梳理、问题提出等功能模块,确保 用户在不同科研需求下得到充分支持。 增强版绘图功能:增强版具备绘图功能,可通过可视化 选取文章:勾选想要分析的20篇文献。 综述生成:点击生成综述,等待2-3分钟即可下载综述报告。 元知AI综述工具官网:https://yuanzhi.zeelin.cn/#/ 选择版本:根据需求选择工具的四个版本,包括基础版、增强版、专业版(单图)、专业版(双图)。 文献导入:用户可从现有文献数据库中下载中英文数据后导入平台,或直接通过实时联网访问免费数据库 进行在线分析,操作简单便捷。 信息提取与分析:0 码力 | 85 页 | 8.31 MB | 8 月前3
基于 KUBERNETES 的 容器器 + AI 平台• 容错性与混合云 • 功能多样性与上线流程 • 如何实现 • K8s - 单『控制集群』, 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』,多仓库集成 管理理集群和节点 • 技术概览 • cloud provider • custom resource • ansible 管理理镜像仓库 • Cargo (内部项⽬目)- ⽣生产级镜像仓库解决⽅方案,基于 openstack/kuryr- kubernetes 运⾏行行和构建应⽤用 跑在 KUBERNETES 上的应⽤用 • k8s 基础资源之外 • 资源分组和整体状态 • 重⽤用 YAML 配置 • 版本化 • 启动依赖 • Helm 很棒,但是 …… 典型企业应⽤用的架构 CAICLOUD/RUDDER • 2 CRDs - Release, Release History • 1 lease • https://github.com/caicloud/charts • https://github.com/caicloud/helm-registry Rudder 技术架构 ⼀一套基于 k8s 控制器器模式的原⽣生的应⽤用管理理 和编排运⾏行行时 安全性与扩展性:从 k8s 原⽣生模式中获益 状态可读:跟踪所有 k8s 对象状态 版本化:快速从历史版本回滚0 码力 | 19 页 | 3.55 MB | 1 年前3
MySQL高可用 - 多种方案....................................................................................... 3 2.2 方案架构图 ................................................................................................. ....................................................................................... 9 3.2 方案架构图 ................................................................................................. ...................................................................................... 16 4.3 方案架构图 .................................................................................................0 码力 | 31 页 | 874.28 KB | 1 年前3
基于go和flutter的实时通信/视频直播解决方案 段维伟pion/ion-sfu • 分布式架构 • 基于grpc over NATS mq • 使用redis 存储媒体流全局位置 • 支持业务自定义开发 • 高性能,单个ion-sfu节点 1k 并发仅需 0.5核 ION 架构 多node 架构 主要模块 • ISLB 服务发现,负载均衡,媒体信息全局存储 • Biz 业务接入模块 • SFU 节点 (用于转发webrtc 流,与biz模块配合创建视频会议系 流,与biz模块配合创建视频会议系 统) • AVP 节点 (用于从SFU节点拉取数据进行数据处理,视频流存 储,音视频混合,CV ,语音识别,图形识别等) • 网关节点与go-sip stack 或rtmp/hls/srt等协议组合成协议网关 • 转换RTC流成直播流推送到CDN ION客户端支持 • Ion-sdk-js 网页端SDK • Ion-sdk-flutter 全平台flutter 全平台flutter SDK • Ion-sdk-go 用于开发推流工具,压力测试,avp 节点开发 • Ion-app-web • Ion-app-flutter ion-app-web • 基于 React.js + ant-design • 多人视频 • 屏幕共享 • 文字聊天 ion-app-flutter • 多人视频 • 文字聊天 • 屏幕共享 • iOS/Android0 码力 | 38 页 | 2.22 MB | 1 年前3
2022 Apache Ozone 的最近进展和实践分享Ozone的实践分享 ⼤数据存储的需求 能否提供⾼并发读取和写⼊ 是否兼容主流API,如HDFS/S3 是否可以扩展⾄数百PB的存储容量,数千个 物理节点以及数⼗亿个对象 扩展性 API 兼容性 性能 是否⽀持存算分离架构同时也可以兼容存算耦合 架构 应⽤对接 安全 加密 HDFS现有的⼀些解决⽅案 Namenode Federation Router Based Federation 是否需要⼀个新的⼤数据存储? FLINK 计算 OTHER WORKLOADS OTHER WORKLOADS X • 可⽤于承载实时和批处理的业务 • 扩展性提升 • ⽆需改变或改造业务应⽤代码 • 降低控制平⾯的节点数和服务依赖 业务价值 • 降低⼤规模集群的运维难度 • 可通过HDFS API和Distcp进⾏快速迁移 • 降低系统恢复时间 • 尽可能的减少NN Java GC带来的⽆ 响应问题 响应问题 运维价值 Apache Ozone – 使⽤场景 #2 • 可以快速的对接已适配S3 接⼝的应⽤ • 减少数据在多个平台间的迁移 • 使⽤单⼀的API协议来应对混合云架构 业务价值 • 集约化的⼀套存储来⾯向不同的业务负载 • 更易于运维的控制⾯ • 只需要⼀个运维团队⽽不是多个 运维价值 OZONE STORAGE AI/ML HIVE/IMPALA/0 码力 | 35 页 | 2.57 MB | 1 年前3
RocketMQ v3.2.4 开发指南rocketmq-client 返个 jar 包,对其提供的 api 迕行再封装。 开源社区地址: https://github.com/alibaba/RocketMQ 在 RocketMQ 项目基础上衍生的项目如下 com.taobao.metaq v3.0 = RocketMQ + 淘宝个性化需求 为淘宝应用提供消息服务 项目开源主页:https://github.com/alibaba/RocketMQ Slave2 Producer集群 Consumer集群 图表 5-2RocketMQ 网络部署图 RocketMQ 网络部署特点 Name Server 是一个几乎无状态节点,可集群部署,节点乀间无任何信息同步。 Broker 部署相对复杂,Broker 分为 Master 不 Slave,一个 Master 可以对应多个 Slave,但是一个 Slave 只能 对应一个 Producer 不 Name Server 集群中的其中一个节点(随机选择)建立长连接,定期从 Name Server 叏 Topic 路 由信息,幵吐提供 Topic 服务的 Master 建立长连接,丏定时吐 Master 収送心跳。Producer 完全无状态,可 集群部署。 Consumer 不 Name Server 集群中的其中一个节点(随机选择)建立长连接,定期从 Name Server0 码力 | 52 页 | 1.61 MB | 1 年前3
Ubuntu 桌面培训 2010署名。您必须按照作者或者许可人指定的方式对作品进行署名(但是不得以任何方式暗示它们支持您 或者您作品的使用)。 • 非商业性使用。您不得将本作品用于商业目的。 • 相同方式共享。如果您改变、转换本作品或者以本作品为基础进行创作,您只能采用与本协议相同的 许可协议发布基于本作品的演绎作品。 对于任何的再使用或者分发,您必须让他人清楚了解到本作品所适用的协议条款。若您获得著作权人的 许可,上述任何条件都可以免除。该 业和非商业的为日常使用设计的发行版。 1998年 ,Jon "maddog" Hall 、Larry Augustin、Eric S. Raymond 和 Bruce Perens 等正式开始了开放源码运动。他们以各自卓越的专业基础极大地推动了这项运 动的发展。 6 关于 Ubuntu 目录 Lucid Lynx 图 I.2 开 放 源 码 运 动 的 发 起 者 开 放 源 码 运 动 和 1990 年 代 末 的 互 Ubuntu 桌面的最精彩之处 • 如何更改默认语言 • 如何创建一个新用户和进行用户切换 • 添加和删除应用程序 • 如何启用 3D 桌面效果 教员注记: 本堂课里的内容都是必须掌握的基础知识。为了加强学生对新系统的基本功能的认 识,应作为第一堂上机课程。 本节是对 Ubuntu 桌面各种特性的快速浏览,后面的课程会详细讲解每项内容。 II.I Ubuntu 桌面组件 教员注记:0 码力 | 540 页 | 26.26 MB | 1 年前3
共 15 条
- 1
- 2













