1.5 迁移学习未来的研究方向

近十几年，学术界和工业界已经对迁移学习展开了大量的研究和应用。令人欣喜的是，该方向的学术成果也已经取得了显著突破，并且在一些特定场景下成功落地应用。但作者认为该领域还非常年轻，还有很多事情可以做。比如在真实场景中，虽然有一些实际数据的应用，但其算法主要还停留在实验阶段，离实用还有一定距离。另外，现实世界中也存在着各种各样的应用需求。迁移学习作为能够解决人工智能最后一公里问题的学习范式被提出，它还有很长的路要走，需要更多的研究人员投入精力对迁移学习做进一步开发和探索。

作者从迁移学习兴起时就开始从事这方面的研究工作，以下将从这么多年的研究工作经验和体会出发，提出未来迁移学习的研究方向，以供从事该领域研究和应用工作的读者参考。我们从四个方面进行阐述：数据、模型、应用以及理论。第一，根据儿童教育心理学的迁移理论，源领域/任务与目标领域/任务之间发生迁移的条件是它们之间存在相同的要素或者共性知识。因此，我们在未来的工作中需要加强对源领域和目标领域数据之间的共性，或者源任务和目标任务之间的联系的认识与挖掘。那么如何度量两个领域/任务之间的相关性就成了关键任务。当前很多度量方法大多是无监督的，如KL散度、MMD距离等，针对不同的任务，它们并不能很好地工作，所以我们需要研究基于下游任务感知的度量方法。第二，在模型层面虽然有大量的迁移算法被提出，但大多数过于复杂且泛化能力差，无法适用于实际应用。另外，迁移模型的可解释性也是一个重要的问题。因此，研究轻量、高效和具有可解释性的迁移学习算法变得越来越重要。第三，迁移学习已经在一些应用上取得了巨大成功，但应用的领域还比较少，未来需要进一步拓展迁移学习的应用场景，特别是训练数据无法获取或者标记困难的场景。第四，已有的迁移学习理论研究工作，假设条件过于苛刻，很难保证在服从假设的情况下算法的有效性分析是可用的，因此需要进一步进行理论研究，为迁移学习的有效性和适用性提供理论支持。

---

[1] 1英寸≈2.54厘米。——编辑注