脚本宝典收集整理的这篇文章主要介绍了CPT中文预训练模型：理解和生成，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation

复旦大学，邱锡鹏老师团队

使用不平衡的Transformer编码器解码器架构，用MLM和DAE联合预训练，均可用于NLU和NLG。

CPT： a novel Chinese Pre-trained Unbalanced Transformer for both NLU and NLG tasks.

BERT、RoBERTa、ZEN、NEZHA、ERNIE-1.0/2.0可以文本理解，但是不能文本生成； PanGu-α、CPM、CPM-2、BART可以文本生成，但是不能文本理解； CPT既可以文本理解，又可以文本生成。

微调的任务

脚本宝典总结

以上是脚本宝典为你收集整理的CPT中文预训练模型：理解和生成全部内容，希望文章能够帮你解决CPT中文预训练模型：理解和生成所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。