注：《迁移学习简明手册》
————————————————————————————————————————————————————————
一、什么是迁移学习：
迁移学习作为机器学习的⼀个重要分⽀，侧重于将已经学习过的知识迁移应⽤于新的问题中。核⼼问题是，找到新问题和原问题之间的相似性，才可以顺利地实现知识的迁移。
举一反三，照葫芦画瓢，照猫画虎...
定义：
是指利⽤数据、任务、或模型之间的相似性，将在旧领域学习过的模型，应⽤于新领域的⼀种学习过程。
杨强老师的一篇综述：‘A survey on transfer learning[Pan and Yang, 2010]’
二、为什么需要迁移学习：
1、大数据与少标注之间的矛盾
大数据时代的问题：缺少完善的数据标注——模型训练和更新的依赖
数据标注代价高、所用时间长，目前没有有效的方式解决此问题。
2、大数据与弱计算之间的矛盾
大数据需要大设备、强计算能力的设备存储和计算，是“有钱人”才能玩的起的游戏。
3、普适化模型与个性化需求之间的矛盾
ML的目标是尽可能的通用模型——模型的泛化能力
不同的用户有不同的需求——个性化需求，同时也有一些隐私需求。唯一性、特异性
4、特定应用的需求
特定领域——特定需求——现实存在的问题，如：推荐系统冷启动问题
迁移学如何解决这些问题：
大数据与少标注：迁移数据标注——寻找相似的有标注的数据进行新数据标注
大数据与弱计算：模型迁移——将已经训练好的模型迁移到项目中，微调、自适应优化更新模型
普适化模型与个性化需求：自适应学习——普适化模型进行自适应学习，灵活调整
特定应用的需求：相似领域知识迁移——相似领域迁移
三、迁移学习与相近概念区别：
迁移学习 VS 传统机器学习：
迁移学习 VS 终身学习：终⾝学习强调连续不断地在⼀个概念和任务上进⾏学习，模型持续优化。迁移学习则侧重于模型的迁移和共同学习。
迁移学习 VS 多任务学习：多任务学习指多个相关的任务⼀起协同学习；迁移学习则强调知识由⼀个领域迁移到另⼀个领域的过程。迁移是思想，多任务是其中的⼀个具体形式。
. 迁移学习 VS 领域自适应：领域⾃适应问题是迁移学习的研究内容之⼀，它侧重于解决特征空间⼀致、类别空间⼀致，仅特征分布不⼀致的问题。⽽迁移学习也可以解决上述内容不⼀致的情况。
迁移学习 VS 增量学习：增量学习侧重解决数据不断到来，模型不断更新的问题。迁移学习显然和其有着不同之处。
迁移学习 VS 自我学习：⾃我学习指的是模型不断地从⾃⾝处进⾏更新，⽽迁移学习强调知识在不同的领域间进⾏迁移。
迁移学习 VS 协方差漂移：协⽅差漂移也是迁移学习要研究的问题之⼀，它特指数据的条件概率分布发⽣变化。
负迁移：——引入迁移学习中的一个负面现象
定义：在源域上学习到的知识，对于目标域上的学习产⽣负面作用。
两个领域之间不存在相似性，或者基本不相似——迁移学习效果差
原因：
1、数据问题：源域和⽬标域压根不相似，谈何迁移？
2、源域和⽬标域是相似的，但是，迁移学习⽅法不够好，没找到可迁移的成分。
最新的研究成果
Transitive transfer learning [Tan et al., 2015]——传递迁移学习：两个领域不相似，利用两者之间的若干领域进行传递式迁移。
Distant domain transfer learning [Tan et al., 2017]——用人脸识别飞机
四、迁移学习的研究领域——没有统一标准
分类四个标准：目标域有无标签、学习方法、特征、离线与在线形式。
1、按照目标域分类：
监督迁移学习 (Supervised Transfer Learning)，半监督迁移学习 (Semi-Supervised Transfer Learning)，⽆监督迁移学习 (Unsupervised Transfer Learning)
难点：半监督、监督
2、按照学习方法分类：
1、数据问题：源域和⽬标域压根不相似，谈何迁移？
1. 基于样本的迁移学习⽅法 (Instance based Transfer Learning)——基于实例的迁移，简单来说就是通过权重重⽤，对源域和⽬标域的样例进⾏迁移。比如相似度高权重高
2. 基于特征的迁移学习⽅法 (Feature based Transfer Learning)——更进⼀步对特征进⾏变换。
3. 基于模型的迁移学习⽅法 (Model based Transfer Learning)
4. 基于关系的迁移学习⽅法 (Relation based Transfer Learning)
P8
fafagfasdf
fa
fas
fafa
dfaf
12da
- fa
dfaf
fasdf fas fd- fa
fafd
学习笔记
知乎——小王爱迁移