4月17日消息，在研究论文《PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation》中，来自阿里巴巴的几位研究者提出了PALM，它在大型未标注语料库上对自编码和自回归语言模型进行预训练，尤其适用于以上下文为条件的下游任务生成，例如生成式问答和会话式响应生成。PALM可以将预训练和微调之间由现有去噪方案导致的不匹配降至最低，在这种情况下，生成便不再只是原始文本重建了。通过一种新颖的预训练方案，PALM在各种语言生成基准上实现了新的SOTA结果。
分享到:
