回归和梯度下降.pdf
立即下载
夏花
2025-02-21
函数
回归
线性
拟合
cost
Function
Cost
数据
学习
function
863 KB
回归和梯度下降
1、基本概念
在回归中，具有代表性的是线性回归和逻辑回归
逻辑回归：y=sigmoid(wTx+b)
线性回归：y=wTx+b
也 就 是 逻 辑 回 归 比 线 性 回 归 多 了 一 个 sigmoid 函 数 ，
sigmoid(x)=1/(1+exp(-x))，其实就是对 x 进行归一化操作，使得 sigmoid(x)
位于 0~1,逻辑回归通常用于二分类模型，目标函数是二类交叉熵，y 的值表示
属于第 1 类的概率，用户可以自己设置一个分类阈值。线性回归用来拟合数据，
目标函数是平法和误差。
2、线性回归
2、1 单变量线性回归
方法：线性回归属于监督学习，因此方法和监督学习应该是一样的，先给定
一个训练集，根据这个训练集学习出一个线性函数，然后测试这个函数训练的好
不好（即此函数是否足够拟合训练集数据），挑选出最好的函数（cost function
最小）即可；
注意：
(1)因为是线性回归，所以学习到的函数为线性函数，即直线函数；
(2)因为是单变量，因此只有一个 x；
我们能够给出单变量线性回归的模型：
我们常称 x 为 feature，h(x)为 hypothesis；
从上面“方法”中，我们肯定有一个疑问，怎么样能够看出线性函数拟合的好不
好呢？
我们需要使用到 Cost Function（代价函数），代价函数越小，说明线性回
归地越好（和训练集拟合地越好），当然最小就是 0，即完全拟合；
举个实际的例子：
我们想要根据房子的大小，预测房子的价格，给定如下数据集：
根据以上的数据集画在图上，如下图所示：
我们需要根据这些点拟合出一条直线，使得 cost Function 最小；
虽然我们现在还不知道 Cost Function 内部到底是什么样的，但是我们的目标
是：给定输入向量 x，输出向量 y，theta 向量，输出 Cost 值；
2、2 损失函数（代价函数）
Cost Function 的用途：对假设的函数进行评价，cost function 越小的函数，
说明拟合训练数据拟合的越好；
下图详细说明了当 cost function 为黑盒的时候，cost function 的作用；
但是我们肯定想知道 cost Function 的内部构造是什么
函数/回归/线性/拟合/cost/Function/Cost/数据/学习/function/
函数/回归/线性/拟合/cost/Function/Cost/数据/学习/function/
-->