1.强化学习

@

目录

• 1.强化学习
  • 1.1 强化学习原理
  • 1.2 强化学习与监督学习
• 2.无监督学习
• 3.半监督学习
• 4.对抗学习

强化学习（英语：Reinforcement Learning，简称RL）是机器学习中的一个领域，是除了监督学习和非监督学习之外的第三种基本的机器学习方法。 强调如何基于环境而行动，以取得最大化的预期利益[1]。

与监督学习不同的是，强化学习不需要带标签的输入输出对，同时也无需对非最优解的精确地纠正。

强化学习是从动物学习、参数扰动自适应控制等理论发展而来，其基本原理是：

如果模型的某个行为策略导致环境正的奖赏(强化信号)，那么模型以后产生这个行为策略的趋势便会加强。模型的目标是在每个离散状态发现最优策略以使期望的折扣奖赏和最大。

强化学习把学习看作试探评价过程，模型选择一个动作用于环境，环境接受该动作后状态发生变化，同时产生一个强化信号(奖或惩)反馈给模型，模型根据强化信号和环境当前状态再选择下一个动作，选择的原则是使受到正强化(奖)的概率增大。选择的动作不仅影响立即强化值，而且影响环境下一时刻的状态及最终的强化值。

强化学习不同于连接主义学习中的监督学习，主要表现在强化信号上，强化学习中由环境提供的强化信号是模型对所产生动作的好坏作一种评价(通常为标量信号)，而不是告诉模型如何去产生正确的动作。

由于外部环境提供了很少的信息，模型必须靠自身的经历进行学习。通过这种方式，模型在行动一一评价的环境中获得知识，改进行动方案以适应环境。

强化学习系统学习的目标是动态地调整参数，以达到强化信号最大。因此，在强化学习系统中，需要某种随机单元，使用这种随机单元，模型在可能动作空间中进行搜索并发现正确的动作。

2.无监督学习

无监督学习（英语：Unsupervised Learning，简称UL），是机器学习的一种方法，没有给定事先标记过的训练示例，自动对输入的资料进行分类或分群。无监督学习的主要运用包含：聚类分析（cluster analysis）、关系规则（association rule）、维度缩减（dimensionality reduce）。它是监督式学习和强化学习等策略之外的一种选择。

当然,无监督也有其他的蕴涵, 比如在BERT中,会随机mask掉一些单词,让模型去猜测, 这个单词和替换的mask单词并不是人为添加的标签,所以也是无监督学习

一个常见的无监督学习是数据聚类。

3.半监督学习

半监督学习(英语：Semi-Supervised Learning，简称SSL)是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。

半监督学习只使用少量标注的数据用以训练模型,然后用训练好的模型去预测未标记的数据, 然后又把预测过的数据当作训练集数据,以此类推

当使用半监督学习时，将会要求尽量少的人员来从事工作，同时，又能够带来比较高的准确性，因此，半监督学习正越来越受到人们的重视。

4.对抗学习

生成对抗网络（英语：Generative Adversarial Network，简称GAN）是非监督式学习的一种方法，透过两个神经网络相互博弈的方式进行学习,可以增强模型的鲁棒性,避免输入值小的波动造成输出值大的波动。

生成对抗网络由一个生成网络与一个判别网络组成。

1. 生成网络从潜在空间中随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本。

2. 判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。

   而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。

生成对抗网络常用于生成以假乱真的图片。此外，该方法还被用于生成视频、三维物体模型等。

生成对抗网络虽然最开始提出是为了无监督学习，但经证明对半监督学习、完全监督学习 、强化学习也有效。