Lecture 3: Logistic Regression

• 语言: 英语
• 格式: .pdf
• 来源: funglee.github.io

摘要

The document introduces the concept of logistic regression, a supervised learning method for solving classification problems such as spam detection and tumor classification. It explains the hypothesis function hθ(x) = 1 / (1 + e^{-θTx}), which estimates the probability that y=1 given input x. The logistic function is discussed in detail, including its properties and interpretation. The document also covers the decision boundary, which is a linear hyperplane where the probabilities of both classes are equal. The probability mass function and maximum likelihood estimation are introduced for model training, emphasizing the role of the log-likelihood function and gradient ascent algorithm. The lecture concludes with a brief mention of multiclass classification.

AI总结

以下是对文档内容的简要总结：

---

该文档主要围绕逻辑回归（Logistic Regression）的相关知识展开，内容涵盖分类问题、逻辑回归模型的定义与推导，以及其应用场景。以下是核心内容的总结：

### 1. **分类问题**
- **分类任务**：将输入样本划分为两类，常见问题包括垃圾邮件分类、欺诈检测、肿瘤良恶性诊断等。
- **目标**：通过模型输出概率值来预测类别，输出结果为二分类变量 \( y \in \{0, 1\} \)。

### 2. **逻辑回归的定义与假设**
- **假设函数**：逻辑回归使用逻辑函数 \( g(z) = \frac{1}{1 + e^{-z}} \) 作为假设函数，定义形式为 \( h_\theta(x) = g(\theta^Tx) \)。
- **概率解释**：模型输出 \( h_\theta(x) \) 表示在给定输入 \( x \) 下，类别标签 \( y = 1 \) 的概率，即 \( P(Y = 1 | X = x; \theta) = h_\theta(x) \)。

### 3. **逻辑回归的核心概念**
- **决策边界**：逻辑回归的决策边界是一个线性超平面，满足 \( \theta^Tx = 0 \)，此时两类的概率相等。
- **“得分”解释**：\( \theta^Tx \) 作为样本的“得分”，正值表示类别 1 的高概率，负值表示类别 0 的高概率。

### 4. **模型公式与优化**
- **概率质量函数**：\( p(y | x; \theta) = (h_\theta(x))^y (1 - h_\theta(x))^{1 - y} \)。
- **对数似然函数**：通过最大化对数似然 \( \ell(\theta) \) 来优化参数。
- **梯度上升法**：计算梯度 \( \frac{\partial \ell(\theta)}{\partial \theta_j} = \sum_{i=1}^m (y^{(i)} - h_\theta(x^{(i)})) x^{(i)}_j \)，并更新参数 \( \theta \)。

### 5. **其他内容**
- **逻辑函数性质**：包括对称性 \( 1 - g(z) = g(-z) \) 和梯度 \( g'(z) = g(z)(1 - g(z)) \)。
- **简要提到**：牛顿法和多分类问题，但未深入展开。

---

以上总结涵盖了文档的核心内容，突出了逻辑回归的定义、概率解释、模型优化方法及应用场景，语言简洁，逻辑清晰。