逻辑回归

逻辑回归是一种分类算法

• 优点：计算代价不高，易于理解和实现
• 缺点：容易欠拟合，分类精度可能不高。

应用

解决二分类问题

为什么线性回归不能解决二分类问题，而需要逻辑回归？

$$\sigma(z) = \frac{1}{1+e^-z}$$

可以用下面的代码来分析该函数的图形。

"""Softmax."""

scores = [3.0, 1.0, 0.2]

import numpy as np

def softmax(x):
    """Compute softmax values for each sets of scores in x."""
    return np.exp(x) / np.sum(np.exp(x), axis=0)



print(softmax(scores))

# Plot softmax curves
import matplotlib.pyplot as plt
x = np.arange(-2.0, 6.0, 0.1)
scores = np.vstack([x, np.ones_like(x), 0.2 * np.ones_like(x)])
print(scores)

plt.plot(x, softmax(scores).T, linewidth=2)
plt.show()

Sigmoid函数的输入记为z

$z = w_0x_0 + w_1x_1+w_2x_2 + … + w_nx_n$

也可以写成 在$z = W^Tx$

W就是我们要找的最佳参数

基于最优化方法的最佳回归系数

梯度上升法

对于给定的数据集。