多任务学习

多任务学习：给定 m 个学习任务，其中所有或一部分任务是相关但并不完全一样的，多任务学习的目标是通过使用这 m 个任务中包含的知识来帮助提升各个任务的性能。

特点：

• 共享参数

• 多个学习目标

参数共享有不同的方式：

• 硬共享是目前应用最为广泛的共享机制，它把多个任务的数据表示嵌入到同一个语义空间中，再为每个任务使用一任务特定层提取任务特定表示。硬共享实现起来非常简单，适合处理有较强相关性的任务，但遇到弱相关任务时常常表现很差。

• 软共享为每个任务都学习一个网络，但每个任务的网络都可以访问其他任务对应网络中的信息，例如表示、梯度等。软共享机制非常灵活，不需要对任务相关性做任何假设，但是由于为每个任务分配一个网络，常常需要增加很多参数。

• 分层共享是在网络的低层做较简单的任务，在高层做较困难的任务。分层共享比硬共享要更灵活，同时所需的参数又比软共享少，但是为多个任务设计高效的分层结构依赖专家经验。

更多信息可参考：复旦大学邱锡鹏团队在AAAI 2020 上录用的一篇关于多任务学习的工作：《Learning Sparse Sharing: Architectures for Mltiple Tasks》