AI-3线性回归
阅读原文时间:2023年08月11日阅读:2

3.1笔记

线性回归假设y与多个x之间的关系是线性的,且噪声符合正态分布。

线性模型则是对输入特征做仿射变换Y^W * X+b,其中Y^为预测值,****我们希望预测值与真实值Y的误差最小。那如何衡量这个误差呢,使用损失函数来量化。

(在线性模型中,一般采用最小二乘的损失函数)

这样,将问题转化为关注最小化损失函数的优化问题。

优化得到数值解过程中用到梯度下降法。为了在精度和效率之间权衡,现学者多采用小批量随机梯度下降。

通过梯度下降可以多次迭代找到一组参数,使得损失函数接近最小值。即该参数使得模型在训练集上损失最小。

而更难做的是,如何找到一组参数使得其在模型未见过的数据集上实现较低的损失。

另外,在迭代过程中通过利用广播机制,矢量化的代码会带来数量级别的加速。

3.1练习

1假设我们有一些数据1,…,∈ℝ。我们的目标是找到一个常数,使得最小化∑(−)2。找到最优值的解析解。这个问题及其解与正态分布有什么关系?

最优值b的解析解为1/n *∑ . 若样本x1,x2,x3…服从正态分布,则b为样本均值mu。

2推导出使用平方误差的线性回归优化问题的解析解。为了简化问题,可以忽略偏置

(我们可以通过向添加所有值为1的一列来做到这一点)。

用矩阵和向量表示法写出优化问题(将所有数据视为单个矩阵,将所有目标值视为单个向量)。

计算损失对

的梯度。

通过将梯度设为0、求解矩阵方程来找到解析解。

什么时候可能比使用随机梯度下降更好?这种方法何时会失效?

假定控制附加噪声

的噪声模型是指数分布。也就是说,()=12exp(−||)

写出模型−log(∣)

下数据的负对数似然。

请试着写出解析解。

提出一种随机梯度下降算法来解决这个问题。哪里可能出错?(提示:当我们不断更新参数时,在驻点附近会发生什么情况)请尝试解决这个问题。

3.2笔记

3.2练习

1如果我们将权重初始化为零,会发生什么。算法仍然有效吗?

2假设试图为电压和电流的关系建立一个模型。自动微分可以用来学习模型的参数吗?

3能基于普朗克定律使用光谱能量密度来确定物体的温度吗?

4计算二阶导数时可能会遇到什么问题?这些问题可以如何解决?

5为什么在squared_loss函数中需要使用reshape函数?

6尝试使用不同的学习率,观察损失函数值下降的快慢。

7如果样本个数不能被批量大小整除,data_iter函数的行为会有什么变化?

手机扫一扫

移动阅读更方便

阿里云服务器
腾讯云服务器
七牛云服务器

你可能感兴趣的文章