UER-py开源预训练模型框架

UER-py开源预训练模型框架

UER-py是一个开源预训练模型框架，用pytorch实现的，也包括了预训练模型。

预训练已经成为NLP任务的重要一部分。目前基于混合中文预料的BERT预训练模型（24 layers）已经可用了。

特点：

可复现性，多GPU支持，具有最新的模型，有效性，中文模型的支持，SOTA效果。

依赖：Python3.6 ，torch>=1.0

数据集：

ChnSentiCorp Douban book review Online shopping review LCQMC XNLI MSRA-NER NLPCC-DBQA Sina Weibo THUCNews

在cpu上预训练的例子：

python3 pretrain.py --dataset_path dataset.pt --vocab_path models/google_zh_vocab.txt --output_model_path models/output_model.bin --encoder bert --target bert

在gpu上预训练的例子；

python3 pretrain.py --dataset_path dataset.pt --vocab_path models/google_zh_vocab.txt --output_model_path models/output_model.bin --encoder bert --target bert --gpu_ranks 3

基于词的评估效果：

Target word: 苹果Target word: 腾讯Target word: 吉利

苹果公司0.419新浪0.357沃尔沃0.277

apple0.415网易0.356伊利0.243

苹果电脑0.349搜狐0.356长荣0.235

微软0.320百度0.341天安0.224

mac0.298乐视0.332哈达0.220