能做什么？ 要怎么做？ 效果如何？ 一 能做什么？ 数据挖掘 数据分析 数据采集 数据处理 数据可视化 AIGC 数据应用 通过编写爬虫代码、访问数据库、读取文件、调用API等方式，采 集社交媒体数据、数据库内容、文本数据、接口数据等。 通过数据清洗、数据集成、数据变换、特征工程等方式，实 现数据纠错、数据整合、格式转换、特征提取等。 对数据进行诊断、预测、关联、聚类分析，常用于问题 对数据进行诊断、预测、关联、聚类分析，常用于问题 定位、需求预测、推荐系统、异常检测等。 对数据进行分类、社交网络分析或时序模式挖掘，常用 于客户细分、信用评分、社交媒体营销、股价预测等。 将数据转化为统计图、热力图、网络关系图、词云、树形 图等，用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 5均能基于分析结果提供多种可视化图表绘制方案，但都需要依靠运行 Python代码才能完成绘图任务，部分代码会出现错误 Open AI o3mini 能够直接调用DALLE，根据分析结果和任务需求高效绘制各类可视化图 表，部分较为复杂的图表可能出现数据错误或无法生成的情况。 Claude 3.5 sonnet 暂时不能直接绘制出可视图表，需要将绘图 代码复制到本地运行。 Kimi k1.5 结合数据样本和分析结果，提供多种可视化

....................................................................................... 8 4.13 分布式事务 ................................................................................................ 顺序消息的一种，无论正常异常情冴都能保证顺序，但是牺牲了分布式 Failover 特性，即 Broker 集群中只 要有一台机器丌可用，则整个集群都丌可用，服务可用性大大降低。 如果服务器部署为同步双写模式，此缺陷可通过备机自劢切换为主避免，丌过仍然会存在几分钟的服务丌 可用。（依赖同步双写，主备自劢切换，自劢切换功能目前迓未实现） 目前已知的应用只有数据库 binlog 同步强依赖严格顺序消息，其他应用绝大部分都可以容忍短暂乱序，推 返种过滤方式可由应用完全自定丿实现，但是缺点是很多无用的消息要传输到 Consumer 端。 4.5 Message Persistence 消息中间件通常采用的几种持丽化方式： (1). 持丽化到数据库，例如 Mysql。 (2). 持丽化到 KV 存储，例如 levelDB、伯克利 DB 等 KV 存储系统。 (3). 文件记彔形式持丽化，例如 Kafka，RocketMQ 项目开源主页：https://github

OpenOffice.org 演示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 IV.I.IV OpenOffice.org 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 目录 5 Ubuntu 桌面培训 目录 IV.I.V OpenOffice 1991年8月，Linus Benedict Torvalds，这位芬兰赫尔辛基大学计算机科学专业的 一个大二学生，开始研究 Minix 。 4 自由软件运动、开源和 Linux 目录 Lucid Lynx 图 I.1 Linus Benedict Torvalds 小提示 Minix 是一个开源的类 Unix 操作系统，是 Andrew S. Tanenbaum 教授为了便于 教授操作系统的内部流程而开发的。 Augustin、Eric S. Raymond 和 Bruce Perens 等正式开始了开放源码运动。他们以各自卓越的专业基础极大地推动了这项运 动的发展。 6 关于 Ubuntu 目录 Lucid Lynx 图 I.2 开 放 源 码 运 动 的 发 起 者 开 放 源 码 运 动 和 1990 年 代 末 的 互 联 网 的 兴 起 一 起 造 就 了 Linux 的 流 行 ， 随 后 出 现 了 很

• UI 的一致性，更新迭代（类似SDK需按平台维护） • 性能问题(全部使用html5) 客户端是否有 更好的选择？ 为何选择 Flutter • 同样是 Google 发起的跨全平台高性能UI框架 • 基于 Skia 2D 渲染引擎 • 使用类似JS/TS的Dart 语言开发 • 支持代码编辑后热重载, Flutter 支持那些平台 iOS/Android/Web/Wind 作者: Sean DuBois ION 离子之光 分布式实时通讯系统 https://github.com/pion/ion • 基于pion/webrtc 开发 pion/ion-sfu • 分布式架构 • 基于grpc over NATS mq • 使用redis 存储媒体流全局位置 • 支持业务自定义开发 • 高性能，单个ion-sfu节点 1k 并发仅需 0.5核 ION

Kubernetes Operator 实践 —— MySQL 容器化 刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL of complex stateful applications on behalf of a Kubernetes user. operator 是特殊的 controller，用来管理复杂的分布式应用 ü custom resource definition(CRD) ü custom controller Operator 是什么 • Kubernetes 中一切都可视为资源 • Mysql Operator pod … … mysql Pod-T 0. 创建 CRD 3. 集群管理 2. 调度 pod Ceph MySQL-Operator 数据存储 分布式存储 • 使用 Ceph RBD，基于产品线 创建 StorageClass • 优点：可靠性高，容器漂移时 数据不变 • 缺点：读写延迟较高 本地存储 • 基于 Host Path Volumes

.......................................................................................... 7 2.3 分布式事物消息 .............................................................................................. ......................................................................................... 11 2.2 分布式事物消息落地 ............................................................................................ messageQueueList [userId%messageQueueList.size()] 2.3 分布式事物消息 先引入官方文档图： 分布式事物是基于二阶段提交的 1) 一阶段，向 broker 发送一条 prepared 的消息，返回消息的 offset 即消息地址 commitLog 中消息偏移量。Prepared

作为故障转移，提高系统的可用性。但是一般的 mysql 高可用为了实现 mysql 数据的一致性，一般都是采用单点写入，本方案采用 keepalived 中的 sorry_server 来实现写入数据库为单点的需求。本方案实现的功能是当网络有问题、 mysql 有问题、服务器宕机、keepalived 服务停止后,服务器能自动跳转到备用机， 当主服务器服务启动起来后会自动切换回来。 2.2 方案架构图 的端口等。  切换需要 1s 左右的时间。 2.4 方案实战 2.4.1 适用场景 这个方案适用于只有两台数据库服务器并且还没有实现数据库的读写 分离的情况，读和写都配置 VIP。这个方案能够便于单台数据库的管理 维护以及切换工作。比如进行大表的表结构更改、数据库的升级等都是 非常方便的。 2.4.2 实战环境介绍 服务器名 IP VIP 系统 Mysql Master 作为故障转移，提高系统的可用性。但是一般的 mysql 高可用为了实现 mysql 数据的一致性，一般都是采用单点写入，本方案采用 keepalived 中的 sorry_server 来实现写入数据库为单点的需求，读负载均衡通过 lvs 实现，读能自由 的实现负载均衡和故障切换。本方案实现的功能是当网络有问题、mysql 有问题、 服务器宕机、keepalived 服务停止后,服务器能自动跳转到备用机，当主服务器服务

Apache Ozone介绍 • Apache Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 Apache Ozone • Ozone是 ⼀个分布式的KV对象存储 可扩展⾄数⼗亿个对象，从⽽对云原⽣类的应⽤更友好 强⼀致性 与HDFS 和 S3 API兼容 可在存储密集型设备中部署进⽽极⼤的减少设备开⽀ Apache Ozone – 数据存储的路径设计 监控Ozone集群 4. DataNode – 负责存储和汇报Storage Containers 5. Storage Containers – Ozone的存储单元，内置有RocksDB 数据库 Apache Ozone – 数据访问的API ofs hdfs dfs -mkdir /volume1/bucket1 o3fs hdfs dfs -ls o3fs://bucket

通过层次结构图或思维导图展示分解后的各部分及其关系。 5. 结合各部分的结果，撰写一段总结性内容，确保整体连贯。 �实战技巧： • 任务分解 • 结果整合 • 问题定义 • 信息收集 • 分析综合 • 结论形成 1. 明确这个问题的核心要点，然后系统地收集相关信息进行分 析。 2. 列出与主题相关的所有关键概念和理论，并进行系统梳理。 3. 使用逻辑框架图展示信息收集、分析和结论的过程。 TFM借鉴了认知语言学中的“原型理论”和“框架语义 学”，可开发以下技巧： �TFM实施步骤： 1. 定义主题原型：列出主题的关键特征和代表性例子 2. 构建语义框架：创建与主题相关的概念图 3. 设置重点梯度：按重要性排序相关概念和子主题 4. 创建主题引导符：设计特定的关键词或短语来保持 主题聚焦 应用示例 1. 主题原型 • 关键特征：全球变暖、极端天气、海平面上升、生态系统变化 应对威胁。 c.解释签名式防御如何类似于抗体，能够快速识别和中和已知威胁。 d.比较系统隔离和清理过程与人体发烧的相似性，都是为了控制“感染”扩散。 e.讨论威胁情报数据库如何类似于免疫记忆，使系统能够更快地应对重复出现的威胁。 （3）深入探讨启示： a.分析免疫系统的适应性如何启发自适应安全系统的设计。 b.探讨免疫系统的分层防御策略如何应用于网络安全的纵深防御概念。

常规的容器服务 ，使用 gpu 的 zone ， 自行设定相应的镜像即 可，有完善的周边服务 训练服务 • 提供基于 kubeflow 的分布式训练方案 – 界面化操作，用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像，不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态