业界领先的高性能预训练工具链和预训练ModelZoo
EasyTransfer框架支持工业级的分布式应用场景，改善了分布式优化器，配合自动混合精度，编译优化，和高效的分布式数据/模型并行策略，做到比社区版的多机多卡分布式训练在运算速度上快4倍多。基于这个高性能的分布式底座，框架推出完整的预训练工具链，方便用户预训练语言模型如BERT和ALBERT。值得一提的是，基于该预训练工具产出的模型在多个公开的榜单上取得好成绩，比方说多轮对话榜单QuAC第一名（2019年10月），中文CLUE榜单取得第一名（2019年12月），和英文SuperGLUE榜单第二名。同时EasyTransfer集成了预训练模型ModelZoo，支持BERT，ALBERT，XLNet等主流模型的Continual Pretrain和Finetune，也集成了在PAI平台上训练的高质量预训练模型和自研的电商场景多模态模型FashionBERT。
丰富易用的AppZoo & 知识蒸馏
EasyTransfer封装了高度易用、灵活且学习成本低的AppZoo，支持用户在仅用几行命令的条件下“大规模”运行“前沿”的开源与自研算法，即可迅速接入不同场景和业务数据下的NLP应用，包括文本向量化、匹配、分类、阅读理解和序列标注等。并且集成了丰富知识蒸馏算法，使得用户能从参数量大、推理速度慢的大模型中蒸馏出参数少、推理性能高的可上线的小模型。比方说，EasyTransfer集成了任务自适应蒸馏模型AdaBERT，从神经架构搜索（NAS）这个全新的角度出发，搜索出最适合目标任务的小模型架构，在6个NLP经典任务上，将BERT模型压缩到原来的1/17~1/10，推理加速达到原先的12 ~ 29倍。同时该模型相应论文已被AI顶级会议 IJCAI 2020 所接收。
高效的迁移学习算法
EasyTransfer框架支持所有主流的迁移学习范式，包括Model Fine-tuning, Feature-based TL, Instance-based TL, Model-based TL和Meta Learning。基于这些迁移学习范式开发了10多种算法，在阿里的业务实践中取得了良好效果的效果。后续所有的算法都会开源到EasyTransfer代码库里。在具体应用的时候，用户可以根据下图来选择一种迁移学习范式来测试效果。
EasyTransfer工具的框架总览
EasyTransfer的整体框架如下图所示，在设计上尽可能的简化了深度迁移学习的算法开发难度。框架抽象了常用的IO，layers，losses，optimizers, models，用户可以基于这些接口开发模型，也可以直接接入预训练模型库ModelZoo快速建模。框架支持五种迁移学习(TL)范式，model finetuning，feature-based TL, instance-based TL, model-based TL和meta learning。同时，框架集成了AppZoo，支持主流的NLP应用，方便用户搭建常用的NLP算法应用。最后，框架无缝兼容PAI生态的产品，给用户从训练到部署带来一站式的体验。
截至目前，新华三集团高、中、低端全系列路由器均已支持国密算法，其中，新华三MSR 5G路由器支持国密算法(SM1/SM2/SM3/SM4)，包含数据加密算法、认证校验及完整性校验，此外，通过智能运维平台，实现国密配置一键下发，在5G网络上构建国密数据加密通道，打造端到端5G安全通道。
兼顾广域网优化&SD-WAN 打造高质量5G服务
4G时代，有限的带宽资源、不可控的丢包及抖动，成为制约4G在企业专线场景普及的重要因素。5G时代为提高5G专网服务质量，新华三集团推出的MSR 5G路由器具备广域网优化、SD-WAN能力，构建5G高质量网络。
//抗丢包优化
利用FEC(Forward Error Correction)前向纠错技术，实现数据纠错和恢复
//传输优化
通过智能算法计算出最优的发包速率，防止拥塞
l 数据化类，利用数据去重、压缩技术，降低网络传输流量，节约带宽
//数据化类
利用数据去重、压缩技术，降低网络传输流量，节约带宽
//应用协议优化
针对HTTP、HTTPS服务，代理应用系统下载业务到网络边缘，降低应用服务访问量
//智能流量优化
在5G网络之上，构建Overlay网络，通过SD-WAN方案对网络SLA实时监控，为业务流量制定最优路径。
（编辑：鹤壁站长网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
