Lecture 3: Logistic Regression Feng Li Shandong University fli@sdu.edu.cn September 20, 2023 Feng Li (SDU) Logistic Regression September 20, 2023 1 / 29 Lecture 3: Logistic Regression 1 Classification Classification 2 Logistic Regression 3 Newton’s Method 4 Multiclass Classification Feng Li (SDU) Logistic Regression September 20, 2023 2 / 29 Classification Classification problems Email: Spam / Not Spam 1 : “Positive Class” (e.g., malignant tumor) Feng Li (SDU) Logistic Regression September 20, 2023 3 / 29 Warm-Up What if applying linear regress to classification? Tumor Size Malignant? (Yes) 1

Chapter 3 - Learning Techniques “The more that you read, the more things you will know. The more that you learn, the more places you'll go.” ― Dr. Seuss Model quality is an important benchmark to evaluate In the first chapter, we briefly introduced learning techniques such as regularization, dropout, data augmentation, and distillation to improve quality. These techniques can boost metrics like accuracy precision, recall, etc. which often are our primary quality concerns. We have chosen two of them, namely data augmentation and distillation, to discuss in this chapter. This is because, firstly, regularization

� ���� Python �� 0 �� scalar = 1 1 �� vector = [1, 2, 3] 2 ������� matrix = [[1, 2, 3], [4, 5, 6], [7, 8, 9]] 3 ���� tensor = [[[1], [2], [3]], [[4], [5], [6]], [[7], [8], [9]],…] n n��� .... �� ���1����2������������������������������ 16 17 18 13 10 14 11 15 12 7 8 9 4 1 5 2 6 3 1 1 2 3 1 2 3 4 5 6 7 8 9 0� 1� 2� 3� TensorFlow �� � TensorFlow �����Tensor����������������� ������������� 1. ����������������� ����������������� 2. ������������� 16 17 18 13 10 14 11 15 12 7 8 9 4 1 5 2 6 3 1 1 2 3 1 2 3 4 5 6 7 8 9 0� 1� 2� 3� TensorFlow �� Q�TensorFlow ������ • ������������ • ����������������� • �����������������

there might not be a single algorithm that works perfectly, and there is a large amount of unseen data that the algorithm needs to process. Unlike traditional algorithm problems where we expect exact optimal particular moment, with more data and sophisticated algorithms, these models can be trained to be fairly accurate over a longer term. Figure 1-1: Relation between Artificial Intelligence, Machine Learning, and solving machine learning problems. Machine learning in turn is one approach towards artificial intelligence. Deep learning with neural networks has been the dominant methodology of training new machine

• • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战： 2.模型效果优 化困难 3.工程优化复 杂 4.数据获取困 难 挑战 深度模型是非线性的: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 1.方案复杂 从FM到DeepFM rt 增 加了10倍怎么优化？ 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型? ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 深度学习应用主要的挑战： 3.工程优化复 杂 4.数据获取困 难 挑战 深度模型是非线性的: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型? ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 从FM到DeepFM rt 增 加了10倍怎么优化？ 2.模型效果优 化困难 1.方案复杂 Data Model Compute Platform 要求:  准确: 低噪声  全面: 同分布 模型选型:  容量大  计算量小 训练推理:  高qps, 低rt  支持超大模型 

2022年12月 机器学习-集成学习 黄海广 副教授 2 本章目录 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM 3 1.集成学习方法概述 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM 4 Bagging 从训练集中进行 的训练集按照某种策略每次 都进行一定的转化。对所有 基模型预测的结果进行线性 综合产生最终的预测结果。 集成学习 模型n 最终 预测 结果 模型2 预测n …… 预测1 预测2 转化 模型1 模型3 转化 转化 训练 数据 测试 数据 6 集成学习 模型n …… 模型1 模型2 预测n …… 预测1 预测2 训练 数据 第二 层数 据 Stacking 最终 预测 易于并行化，在大数据集上有很大的优势； 3. 能够处理高维度数据，不用做特征选择。 随机森林 8 Random Forest（随机森林）是 Bagging 的扩展变 体，它在以决策树为基学习器构建 Bagging 集成的 基础上，进一步在决策树的训练过程中引入了随机特 征选择，因此可以概括 随机森林包括四个部分： 1. 随机选择样本（放回抽样）； 2. 随机选择特征； 3. 构建决策树； 4.

机器学习 内容生产者 内容消费者 内容采集 （上传加速） 内容分发 海量存储 海量富媒体数据的业务布局 视觉智能 Vision Intelligence 数据智能 Data Intelligence 海量存储 ���� ���� ���� 弹性计算 ��� ��� 智能网络 API �� �� CDN ��� ������� ��� 节省了80%的人力成本，缩短了50%的实现周期 七牛云深度学习平台 1 ��P ���� 2 ���� 3 ����� 4 ���� ����� 5 1 ��P IF�� 6 �� ��N� 7 ���� 8 2 ������ ��PA� ������ 3 4 5 6 ���L ������ ��PA� ����� ���L ��������� ������L

aspects of the training pipeline like data augmentation, layer and channel configurations can also be parameterized using hyperparameters. For example, when using image data augmentation with rotation, we can might also have additional parameters which could be searched as well. transformation parameters in data augmentation layer contribute to performance improvements while others like learning rate, batch layers.Dense(size, activation='relu'), layers.Dense(5, activation='softmax') ]) Our model, input data and the hyperparameter trial set is ready. Let's go ahead and train the model, each time choosing

星际争霸与人工智能 阿里巴巴认知计算实验室 龙海涛 Why StarCraft? Challenge Problems for Artificial Intelligence Imperfect Information Huge State and Action Space Long-Term Planning Temporal and Spatial Reasoning Deep Reinforcement Learning What is next? • All above are single AI agent • But, true human intelligence embraces social and collective wisdom • How large-scale multiple AI agents could learn human-level collaborations (or competitions) from their experiences? Cooperative Hunting Artificial Collective Intelligence https://arxiv.org/abs/1703.10069 Multiagent Bidirectionally-Coordinated Net (BiCNet) Neuroscience