- 迁移学习算法:应用与实践
- 庄福振 朱勇椿等
- 905字
- 2023-08-28 20:24:58
序
机器学习发展至今,在研究和实践上均取得了巨大进步。然而,在数据量爆炸式增长的今天,机器学习也面临着更大的挑战,例如医疗场景仅有少量数据,无法训练好的机器学习模型,再例如个人没有资源训练大模型,不使用大模型无法达到令人满意的效果。人类拥有知识迁移能力,能够从见过的场景迁移知识到新的场景,从而更快地学习新的知识,比如学习骑自行车的知识可以快速泛化到学习骑电动车。受到人类知识迁移能力的启发,研究者希望模型可以像人类一样迁移知识,从“大数据”场景迁移知识来解决“小数据”场景的问题,从而避免花费大量人力物力标记数据。因此,研究者提出了迁移学习,旨在从源领域向目标领域迁移知识,从而提升目标领域模型的表现性能或减少目标领域对标注数据的需求。
迁移学习是一种新的机器学习范式,近年来受到了广泛关注。庄福振研究员在迁移学习领域深入研究了十余年,是最早研究迁移学习的研究人员之一,在迁移学习及相关领域已经取得了大量研究成果,积累了丰富的研究经验,并且将迁移学习落地到文本分类、推荐系统、金融风控等多个场景。此外,庄福振研究员前两年也完成了一篇关于近十年来迁移学习研究工作进展的系统综述,该综述主要从数据和模型角度对迁移学习算法进行了总结,也比较全面地涵盖了整个迁移学习领域的前沿进展。
本人的团队曾出版《迁移学习》,该书全面讲解了迁移学习中的各个方向。而庄福振研究员撰写的《迁移学习算法:应用与实践》更侧重于迁移学习算法的系统介绍以及应用实践,并且搭配有百度飞桨的代码,方便初学者快速入门。《迁移学习算法:应用与实践》不仅介绍了概率模型的迁移学习算法、传统深度学习的迁移学习算法,还介绍了近几年兴起的基于图神经网络的迁移学习算法,此外,还扩展介绍了和迁移学习相关的多任务学习、多视图学习算法。该书还介绍了迁移学习在自然语言处理、计算机视觉、推荐系统、金融风控、城市计算等多方面的应用,极大地弥合了工业界和学术界的鸿沟。作为首篇迁移学习综述及首本迁移学习领域书籍的作者,我向对迁移学习研究感兴趣的读者强力推荐这本书,以便大家快速掌握相关的迁移学习算法原理并实践。
杨强
加拿大工程院院士、加拿大皇家科学院院士、香港科技大学讲席教授