transfer learning via learning to transfer
Ying Wei
背景:
Transfer learning: 从标注数据多的领域到少的领域
Research issue: when, how, what to transfer?
有的语义相关,有的关联较少
Former work: Brute-force exploration / expert design
能否不用expert design:Meta-cognitive reflection
框架:
Framework: learning to transfer framework
xyz: 源与目标领域,可以迁移的知识,带来performance的提升
目的是max z|x
与meta learning原理相似,meta的task是ML,而本文是迁移学习
可以迁移的知识可以认为是不同的迁移学习算法(浅层),用W_e参数,视为投影到影空间(类似embedding matrix)
将x y map到z上,回归任务 目标函数与1/performance ratio,即min 目标函数(1/performance ratio)
f(x1,x2,W_e)包含三部分,第一部分是两个distribution中心的距离,(W_e map后越接近越利于迁移学习)(mean),第二个是衡量overlap(越多越好 variance),第三个是衡量目标领域discriminative
目标函数是non linear,用kernel trick
Generation bound: 保证过去用了越多迁移学习,效果越好,确保可以online learning
实验:
Dataset: Caltech 256 -> Google Sketches
Baseline: 所有用到的迁移学习算法
Result:相比baseline有提高,特别是目标领域标注数据很少时,提升很大
验证generation bound
验证目标函数定义的合理性
W_e参数化后可以得到新的更好的学习的知识,而非仅仅是迁移学习算法的线性组合