集成适应多任务的自研元学习算法
EasyTransfer框架集成了基于元学习（Meta Learning）的多任务学习算法，支持用户在训练特定任务的模型时利用其他任务的数据集进行学习增强。EasyTransfer集成了自研的元调优（Meta Fine-tuning）算法，借鉴元学习的思想，旨在学习预训练语言模型跨领域的Meta-leaner，从而使得学习的Meta-leaner可以快速迁移到特定领域的任务上。该算法相应论文已被NLP顶级会议 EMNLP 2020 所接收。由于上述模型仍然具有参数量太大、推理速度慢的问题，EasyTransfer团队进一步自研了元知识蒸馏算法，在蒸馏阶段额外对Meta-leaner进行选择性蒸馏，使得蒸馏得到的小模型在相应的领域的效果显著提升，逼近原始模型的效果。相关的代码和论文会在近期发布。
全面兼容阿里巴巴PAI生态产品
EasyTransfer框架全面兼容PAI-Tensorflow，用户通过简单的代码或配置文件修改，就可以使用PAI自研高效的分布式训练，编译优化等特性；同时框架完美兼容PAI生态的产品，在PAI Web组件（PAI Studio），开发平台（PAI DSW），云原生训练平台（PAI DLC），和PAI Serving平台（PAI EAS）上均可直接使用。
应用落地和创新的算法解决方案
EasyTransfer框架已在阿里集团内数十个NLP场景落地，包括智能客服、搜索推荐、安全风控、大文娱等，带来了显著业务效果的提升。目前EasyTransfer日常服务有上亿次调用，月均训练调用量超过5万次。EasyTransfer团队在落地业务的同时也沉淀了很多的创新的算法解决方案，包括元学习，多模态预训练，强化迁移学习，特征迁移学习等方向的工作，共合作发表了几十篇顶级会议文章，下面列举一些代表性工作。这些算法一部分已经开源，其他部分会在EasyTransfer框架里陆续开源供广大用户使用。
•[EMNLP 2020]. Meta Fine-Tuning Neural Language Models for Multi-Domain Text Mining. 2020.
•[SIGIR2020] FashionBERT: Text and Image Matching for Fashion Domain with Adaptive Loss. 2020.
•[IJCAI 2020] AdaBERT: Task-Adaptive BERT Compression with Differentiable Neural Architecture Search. 2020.
•[KDD 2019]. A Minimax Game for Instance based Selective Transfer Learning. 2019.
•[CIKM 2019]. Cross-domain Attention Network with Wasserstein Regularizers for E-commerce Search, 2019.
•[WWW 2019]. Multi-Domain Gated CNN for Review Helpfulness Prediction, 2019.
•[WSDM 2019]. Learning to Selectively Transfer: Reinforced Transfer Learning for Deep Text Matching. 2019.
•[WSDM 2018]. Modeling Domain Relationships for Transfer Learning on Retrieval-based Question Answering Systems in E-commerce. 2018.
•[ACL 2018]. Transfer Learning for Context-Aware Question Matching in Information-seeking Conversations in E-commerce. 2018.
•[ICDM 2017]. A Short-Term Rainfall Prediction Model using Multi-Task Convolutional Neural Networks. 2017.
最后，EasyTransfer工具是中文CLUE社区官方推荐的toolkit。同时，阿里云天池平台将携手CLUE社区打造一个多任务语义理解的大赛，EasyTransfer为默认的开发工具，用户可以基于EasyTransfer轻松搭建多任务的baseline和进行建模和优化，敬请大家期待。
（编辑：鹤壁站长网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
