1_丁来强_开源AIOps数据中台搭建与Python的作用• 架构演变:SaaS、多云、容器器、微服务等 • 数据孤岛越来越多:⼤大数据的3V(容量量、变化、种类) • 成本越来越⾼高: • 业务中断成本 • 缺少持续改进(运维⼈人员⼤大部分时间忙于救⽕火) • ⼈人员学习速度跟不不上业务增⻓长和问题出现的速度 基本概念 • AIOps = Artificial Intelligence for IT Operations • 组合⼤大数据 ics、IoT data;⽹网络数据; • ⽂文本、⼯工单、知识库;API;代码等 • ⼤大数据的3V(容量量、变化、种类) 数据类型⽐比较 数据类型与⽐比较 ⽇日志 Tracking 指标 ⽂文本 数据格式 ⾮非结构化 半结构化,数据关联 结构化(聚集) ⾮非结构化 数据量量 ⼤大 较⼤大 ⼀一般到极⼤大(IoT) ⼀一般 单条⼤大⼩小 100~10KB 100~10KB < 500 ⼀一般 加⼯工难度 较难 ⼀一般 简单 较难 价值 ⾼高(尤其安全) ⾼高 随着时间推移变低 ⽐比较⾼高 数据之间的重叠 数据中台的处理理 • 海海量量多样数据的存储/索引: • 时序指标数据、⽂文本数据、⽇日志、⽹网络数据、Tracking等 • 各种分析的⽀支持: • 流式分析:流式或微批实时处理理 • 统计关联分析:多维度的实时关联统计与分析⽀支持,⽀支持交互式add-hoc⽅方式0 码力 | 48 页 | 17.54 MB | 1 年前3
Python的智能问答之路 张晓庆 知识点:由若干个问题(相似问)、以及 能回答这些问题的答案组成 Ø 知识库:由若干个知识点组成 • 模型 Ø 找到和用户query最匹配的问题,进而给 出对应的答案 • 特点 Ø 易于维护 Ø 符合实际业务场景 Ø 为什么用这种形式? ü 减轻人工维护答案的工作量 ü 同一知识点下的问题语义相同,是很好的 训练数据 智能问答应用场景 • 辅助人工 Ø 客服 Ø 营销 Ø 特定领域、重复性的对话 任务拆解、各个击破 任务拆解 • 业务 Ø 解决什么问题? • 数据 Ø 标注数据 Ø 训练数据 Ø 测试数据 Ø 评估数据 • 建模 Ø 输入输出? Ø 工作流? • 语言工具 Ø C++ Ø Python Ø Java Ø GO • 模型 Ø 统计模型 Ø 传统机器学习模型 Ø 深度学习模型 Ø 如何选择?是否组合? • 评估 Ø 评估指标 Ø 工具 • 迭代 Ø 策略? 稳定性 各个击破-业务 u 想给小孩报名英文课,不清楚课程内 容和价格怎么办? u 课程看着不错,能直接帮忙预约一次 体验课? u 想给爸妈买点红酒,该怎么挑?怎么 给爸妈讲解红酒的喝法?红酒要怎么 保存? p 营销场景机器人 p 特性: ü 商务团队好帮手,多平台多渠道获客 ü 回答标准且及时,第一时间有效引导 ü 有效减少人力投入,提升线索收集数量 各个击破-业务 u 准备出国旅游,不会上网怎么办?需0 码力 | 28 页 | 2.60 MB | 1 年前3
Django、Vue 和Element UI 前后端原理论述前端接收到后端返回的数据,并根据数据更新页面展示,实现与用户的交互。 总体而言,这种前后端分离的开发模式有助于实现前后端开发的解耦,使得各自的 开发工作更加专注和高效。前端负责用户界面的呈现和交互,后端负责数据处理和业务 逻辑,通过 API 接口进行数据传输和交互,从而实现一个完整的 Web 应用。 3 《51 测试天地》七十四 www.51testing.com 二、搭建流程 2.1 后端搭建流程 基于银行信贷领域的长链路业务测 试数据快速构造方法研究与应用 ◆作者:王海林 一、引言 随着银行数字化转型的不断深入,对信贷领域的测试工作提出了更高的标准和要求, 如何在高效完成测试任务的同时确保测试质量就成了一个亟待解决的难题。有实践研究 表明,在具体测试过程中往往大量的时间精力都是耗费在测试数据准备工作上面,能否 尽量减少这部分耗费,将更多的时间精力专注于业务逻辑等方面更好地去提升测试质 量?本文基于此进行了探索,提出了一种长链路业务测试数据快速构造方法,并将该方 法应用于信贷领域多个场景,取得了良好成效。 二、背景与挑战 当前信贷领域长链路业务测试主要有三方面特点:一是业务链路长,随着信贷业务 不断迭代,业务场景一般涉及多个业务模块,整体业务流程长;二是信贷业务复杂度高, 业务形态的不同会有不同的触发方式,业务逻辑的不同也会产生不同的组合方式;三是 信贷业务依赖性强,业务前后环节间的依赖性强,后一环节的输入是前一环节的输出。0 码力 | 61 页 | 6.84 MB | 1 年前3
python3学习手册BoundedSemaphore()方法创建一个信号量, 互斥锁同一时刻只允许一个进程访问共享数据,而信号量在同一时刻 允许一定数量的进程访问共享数据。 比如柜台有5个窗口,允许同时有5个人办理业务,后面的人只能等 待,5人中有人办理完业务,等待的人才能去办理 使用多进程时,各进程拥有独立的内存空间,无法共享内存空间,所 以各进程无法访问同一个全局变量,若需要各进程共享某个全局变 量 , 可 以 使 用 mul�processing random # 模拟柜台业务办理 def work_func(semaphore, name, current_user): semaphore.acquire() current_user.append(multiprocessing.current_process().nam e) print("当前办理业务的顾客有:{}\n顾客{} 正在办理业务 \n".format(current_user 允许一定数量的线程访问共享数据。 比如柜台有5个窗口,允许同时有5个人办理业务,后面的人只能等 待,5人中有人办理完业务,等待的人才能去办理 import threading import time import random current_user = [] # 各线程之间可访问同一内存块,即可访问同一个 全局变量 # 模拟柜台业务办理 def work_func(semaphore, name):0 码力 | 213 页 | 3.53 MB | 1 年前3
PyConChina2022-上海-基于Python的深度学习框架设计与实现-刘凡平训练10个epoch后的效果对比图: 预测后分类区域图 测试数据分布 五、思考 n 为什么要设计一个深度学习框架? 切勿以造轮子的初衷去设计深度学习框架,一切均需围绕业务进行。脱离业务的技术体系价值不大。 n 是否存在完美的深度学习框架? 一切以落地场景为根基,满足业务使用即可,不要过度设计,过度设计将会导致框架越来越复杂、 臃肿。 n 实现的深度学习框架与目前主流开源的结果计算结果不一致怎么办? 一方面深0 码力 | 15 页 | 2.40 MB | 1 年前3
5 Python深度学习实践深度学习实践 from Tensorflow to AI-Hub 王顺 – Google Cloud 目录 CONTENTS 从零开始 初步修改 业务升级 实践指南 1 从hello world开始 以深度学习的第一个案例MNIST为例 学习Tensorflow框架的使用及代码编写风格 理解TF Mac CPU运行结果 GPU运行结果 TPU运行结果 TPU的创建和使用 with TPUs • https://www.tensorflow.org/tutorials/distribute/tpu_custom_training 3 业务升级 以上已经针对MNIST做了一些深入学习 接下来思考如何满足实际业务上的需要 LEGO积木 22 Component: ExampleGen examples = csv_input(os.path.join(data_root0 码力 | 38 页 | 4.85 MB | 1 年前3
3 基于Azure的Python机器学习 王大伟如何用Azure完成机器学习 Azure与自动机器学习 Azure的相关学习资料 Azure与Python 日渐流行的Python TIOBE给出的排行榜是具有权威性质的,是判断语言流行趋势的指标。 TIOBE排行榜的网址是:https://tiobe.com/tiobe-index/ 日渐流行的Python 日渐流行的Python 日渐流行的Python 为什么用Python完成机器学习0 码力 | 31 页 | 3.69 MB | 1 年前3
03. 杜逸先 Python3 的新特性和改进 将解放GIL对CPU密 集型Python多线程程序的限制。 Python3的新特性和改进——性能提升 鉴于大量的流行包使用C拓展进行加速,Python项目的开发速度和代码质量是更 值得关注的指标。 3 迁移到Python3 迁移到Python3 Porting Python 2 Code to Python 3 只需关注Python2.7 保证好的测试覆盖(利用 coverage0 码力 | 78 页 | 2.28 MB | 1 年前3
FT 03 KC 基于Python Odoo信息化平台框架Sales Apps Website eShop Blog Booking Livech at Fourm Website Apps eSign Document IoT 47 个业务应用,400 个业务组件、行业模块,12000 个第三方插件,涵盖企业管理方方面面 基于Python-Odoo 架构技术优势 Odoo架构简述 OdooERP Server OdooERP Client0 码力 | 21 页 | 1.96 MB | 1 年前3
PyConChina2022-深圳-Python Web大型项目开发进击之路-黄志武Python大型Web项目进击 之路 主讲人: 黄志武 – 华世界集团创始人 目录 • Python web开发有什么优势 • 现在的python Web 有哪些选择 • 我们到底是在解决谁的问题 • 业务需求和技术需求哪个更重要 • 技术的价值到底在哪里 Python Web开发有什么优势 • 为什么选择python django框架做web开发 • 基于后端数据模型生成的web模板 • 快 快速通过模板语言生成网页,加载python中的字典和列表 • 结合html模板嵌套和语法,使得共享页面布局,自定义数据块方便简洁 • 各种html模板tag,让数据在网页显示能更加方便 • 关系型数据库的ORM • 只需要编写业务实体对象模型,自动生成数据库架构 • 开发人员不需要了解和学习sql语句,快速上手增删改查 • 完善的数据库变更管理 • 开箱即用的功能 • 数据校验 • 用户模块 • 验证模块 • 管理后台0 码力 | 9 页 | 722.41 KB | 1 年前3
共 38 条
- 1
- 2
- 3
- 4













