Pants: Python工程化 必备构建工具 主讲人： 沈达 – 比图科技数据工程师 Pants 2 https://www.pantsbuild.org 面向任意规模代码仓库的高性能、可扩展、用户友好的构建系统。 由 主要实现 用 定义构建 对 支持最好 Pants 1 诞生于推特 Pants 2 涅槃重生 由Toolchain赞助 人生苦短，我用Python 用户 JupyterLab 个人：JupyterLab最佳实践 用户 JupyterLab 痛点：如何快速启动 痛点：如何分享、协作 痛点：如何管理依赖 模版工程 https://github.com/da-tubi/jupyterlab-best-practice 企业项目：多个子项目的Python代码仓库 模版工程 https://github.com/da-tubi/pants-pyspark-subprojects • 可扩展 智能依赖 • 新建子项目简单 • 开发环境和生产环境一致 • 本地缓存（SaaS支持：远程缓存） • 只要没有import，就会智能排除 业余项目：如何分发用Python实现的插件 示例工程 https://github.com/texmacs/plugins-in-python JAR • Executable • Assembly PEX • Executable • Assembly

Azure与自动机器学习 什么是自动机器学习？ 机器学习的一般步骤包括：问题定义、数据收集、特征工程、模型选择、模型评估、模型应用。 而算法工程师的工作一般是从特征工程开始。 自动机器学习的自动体现在：自动特征工程、自动模型选择、自动超参数优化等。 手动特征工程效率低、 可移植性差、受到创 造力的限制。 自动特征工程 自动超参数优 化 自动模型选择 添加标题 如何有效选择对应于 特定数据集的模型至

算法：Q-Learning以及时间差学习 机器学习－ 方法及流程 输入特征选择 – 基于什么进行预测 目标 – 预测什么 预测功能 – 回归、聚类、降维... Xn -> F(xn) -> T(x) 机器学习－ 举例 机器学习－ 举例 如何让机器分辨出来他／她是谁 ？ 图像分析 – 输入特征选择 ->面部特征、发型、裙子、身高、手势… 机器学习－ 何时使用 你不需要机器学习，如果 学习的算法，分别对应不同级别的抽象" 深度学习 VS. 机器学习 ML 的算法包括监督学习和无监督学习 适用非线性处理单元的多层次的特征提取和转换 基于对多个层的特征或者表象的学习，形成一个由低级 到高级的层次结构特征 传统的机器学习关注于特征工程,深度学习关注于端到 端的基于原始数据的学习 为什么需要深度学习？ 深度学习- 举例 深度学习 － 神经网络 是一种模仿生物神经网络(例如大脑)的结构和功能的计 我的第一个Theano 程序 深度学习的应用环境－ THEANO GPU vs. CPU TENSORFLOW 的新进展 分布式的深度学习框架 TENSORFLOW 的新进展 分布式的深度学习框架 工程化思维 VS. 科学化思维 THINK GREAT THOUGHTS AND YOU WILL BE GREAT. 心怀伟大，你将会变得伟大！ 谢谢！

easy ！）。 所以，通俗的来说，在AI system中：要么从原有的知识体系中直接提取信息来使用，要 么进行推理。 将知识融合在机器中，使机器能够利用我们人类知识、专家知识解决问题，这就是早期 知识工程（Knowledge Engineering）的核心内涵。 Preliminaries Explaining AI system from the perspective of KE – Symbolism R2：Dreyfus, Hubert (1979), What Computers Still Can't Do, New York: MIT Press. 本页PPT借鉴于复旦大学肖仰华老师《大数据时代的知识工程与知识管理》 Preliminaries Major difficulties: 自上而下：严重依赖专家和用户的干预（规模有限、质量存疑） Conventional KE – Features 3、很难处理异常情况 e.g., 鸵鸟不会飞 本页PPT借鉴于复旦大学肖仰华老师《大数据时代的知识工程与知识管理》 大数据时代催生KE飞速前进发 展 Preliminaries Preliminaries 大数据时代的机遇 – 大规模知识自动获取 本页PPT借鉴于复旦大学肖仰华老师《大数据时代的知识工程与知识管理》  Big Data + Machine Learning[R1] + Powerful

未来职业规划 声音制造教学设计 该项目以研究声音信号为核心任务，学生通过 1. 了解声音 2. 分析声音 3. 制造声音 4. 处理声音 5. 传播声音 五大研究模块来全面和深入地了解与声音信号相 关的工程物理知识和数学模型并进行相关的实践 活动. 声音制造项目具体要求: 学生自己动手制作一款可以演奏的电子乐器 项目教学实施细则: 1. 带领学生复习(或预习)相关数学和物理知识 2. 向学生介绍计算机在数据处理上的特点和局限性 信号生成和处理的核心工具 Python 生成声音信号 数据 Python 的角色: 信号生成和处理的核心工具 ?=A*sin(2πf ∗ t) 处理前 处理后 1. 让学生观察处理前后的信 号特征 2. 将特征转化为数学模型 Python 处理声音信号 Python 的角色:用户交互界面的制作工具 设计用户交互机制 1. 设计触发声音和修改控制参数的 协议 2. 绑定事件反馈函数 3. 设计基本的用户界面

或令人惊叹的事物背后，都隐藏着精 妙的算法思想。 同样，数据结构无处不在：大到社会网络，小到地铁线路，许多系统都可以建模为“图”；大到一个国家，小 到一个家庭，社会的主要组织形式呈现出“树”的特征；冬天的衣服就像“栈”，最先穿上的最后才能脱下； 羽毛球筒则如同“队列”，一端放入、另一端取出；字典就像一个“哈希表”，能够快速查找目标词条。 本书旨在通过清晰易懂的动画图解和可运行的代码示例， 位数的整数（例如学号），那么我们就可以用效率更高的“基数排序”来做，将时间复杂度降为 ?(??) ， 其中 ? 为位数。当数据体量很大时，节省出来的运行时间就能创造较大价值（成本降低、体验变好等）。 在工程领域中，大量问题是难以达到最优解的，许多问题只是被“差不多”地解决了。问题的难易程度一方 面取决于问题本身的性质，另一方面也取决于观测问题的人的知识储备。人的知识越完备、经验越多，分析 问题就会越深入，问题就能被解决得更优雅。 非常贵，随 CPU 打包计价 我们可以将计算机存储系统想象为图 4‑9 所示的金字塔结构。越靠近金字塔顶端的存储设备的速度越快、容 量越小、成本越高。这种多层级的设计并非偶然，而是计算机科学家和工程师们经过深思熟虑的结果。 ‧ 硬盘难以被内存取代。首先，内存中的数据在断电后会丢失，因此它不适合长期存储数据；其次，内存 的成本是硬盘的几十倍，这使得它难以在消费者市场普及。 ‧ 缓存的大容量和高速度难以兼得。随着

或令人惊叹的事物背后，都隐藏着精 妙的算法思想。 同样，数据结构无处不在：大到社会网络，小到地铁线路，许多系统都可以建模为“图”；大到一个国家，小 到一个家庭，社会的主要组织形式呈现出“树”的特征；冬天的衣服就像“栈”，最先穿上的最后才能脱下； 羽毛球筒则如同“队列”，一端放入、另一端取出；字典就像一个“哈希表”，能够快速查找目标词条。 本书旨在通过清晰易懂的动画图解和可运行的代码示例， 非常贵，随 CPU 打包计价 我们可以将计算机存储系统想象为图 4‑9 所示的金字塔结构。越靠近金字塔顶端的存储设备的速度越快、容 量越小、成本越高。这种多层级的设计并非偶然，而是计算机科学家和工程师们经过深思熟虑的结果。 ‧ 硬盘难以被内存取代。首先，内存中的数据在断电后会丢失，因此它不适合长期存储数据；其次，内存 的成本是硬盘的几十倍，这使得它难以在消费者市场普及。 ‧ 缓存的大容量和高速度难以兼得。随着 两种实现的对比结论与栈一致，在此不再赘述。 5.2.3 队列典型应用 ‧ 淘宝订单。购物者下单后，订单将加入队列中，系统随后会根据顺序处理队列中的订单。在双十一期 间，短时间内会产生海量订单，高并发成为工程师们需要重点攻克的问题。 ‧ 各类待办事项。任何需要实现“先来后到”功能的场景，例如打印机的任务队列、餐厅的出餐队列等， 队列在这些场景中可以有效地维护处理顺序。 5.3 双向队列 在队列中

非常贵，随 CPU 打包计价 我们可以将计算机存储系统想象为图 4‑9 所示的金字塔结构。越靠近金字塔顶端的存储设备的速度越快、容 量越小、成本越高。这种多层级的设计并非偶然，而是计算机科学家和工程师们经过深思熟虑的结果。 ‧ 硬盘难以被内存取代。首先，内存中的数据在断电后会丢失，因此它不适合长期存储数据；其次，内存 的成本是硬盘的几十倍，这使得它难以在消费者市场普及。 ‧ 缓存的大容量和高速度难以兼得。随着 两种实现的对比结论与栈一致，在此不再赘述。 5.2.3 队列典型应用 ‧ 淘宝订单。购物者下单后，订单将加入队列中，系统随后会根据顺序处理队列中的订单。在双十一期 间，短时间内会产生海量订单，高并发成为工程师们需要重点攻克的问题。 ‧ 各类待办事项。任何需要实现“先来后到”功能的场景，例如打印机的任务队列、餐厅的出餐队列等， 队列在这些场景中可以有效地维护处理顺序。 5.3 双向队列 在队列中 数据完整性检查：数据发送方可以计算数据的哈希值并将其一同发送；接收方可以重新计算接收到的 数据的哈希值，并与接收到的哈希值进行比较。如果两者匹配，那么数据就被视为完整。 对于密码学的相关应用，为了防止从哈希值推导出原始密码等逆向工程，哈希算法需要具备更高等级的安全 特性。 ‧ 单向性：无法通过哈希值反推出关于输入数据的任何信息。 ‧ 抗碰撞性：应当极难找到两个不同的输入，使得它们的哈希值相同。 ‧ 雪崩效应：输入的微小

如果给出，doc 将成为该 property 属性的文档字符串。否则该 property 将拷贝 fget 的文档字符串（如 果存在）。这令使用property() 作为decorator 来创建只读的特征属性可以很容易地实现: class Parrot: def __init__(self): self._voltage = 100000 @property def voltage(self): 将 voltage 的文档字符串设为”Get the current voltage.” @getter @setter @deleter 特征属性对象具有 getter, setter 和 deleter 方法，它们可用作装饰器来创建该特征属性的 副本，并将相应的访问函数设为所装饰的函数。这最好是用一个例子来说明： class C: def __init__(self): self deleter def x(self): del self._x 上述代码与第一个例子完全等价。注意一定要给附加函数与原始的特征属性相同的名称 (在本 例中为 x。) 返回的特征属性对象同样具有与构造器参数相对应的属性 fget, fset 和 fdel。 在 3.5 版本发生变更: 特征属性对象的文档字符串现在是可写的。 class range(stop) class range(start, stop

如果给出，doc 将成为该 property 属性的文档字符串。否则该 property 将拷贝 fget 的文档字符串（如 果存在）。这令使用property() 作为decorator 来创建只读的特征属性可以很容易地实现: class Parrot: def __init__(self): self._voltage = 100000 @property def voltage(self): 将 voltage 的文档字符串设为”Get the current voltage.” @getter @setter @deleter 特征属性对象具有 getter, setter 和 deleter 方法，它们可用作装饰器来创建该特征属性的 副本，并将相应的访问函数设为所装饰的函数。这最好是用一个例子来说明： class C: def __init__(self): self deleter def x(self): del self._x 上述代码与第一个例子完全等价。注意一定要给附加函数与原始的特征属性相同的名称 (在本 例中为 x。) 返回的特征属性对象同样具有与构造器参数相对应的属性 fget, fset 和 fdel。 在 3.5 版本发生变更: 特征属性对象的文档字符串现在是可写的。 class range(stop) class range(start, stop