计算机软件及计算机应用论文_预训练模型下航天
文章目录
1 AIER数据集的构建
1.1 多源异构知识库的构建
1.2 基于前缀树和双匹配算法的启发式标注
1.3 标注体系与数据划分
2 基于预训练模型的AIER模型
2.1 预训练模型与BERT
2.2 CRF标签解码器
2.3 BERT-CRF模型
3 实验结果与分析
3.1 实验设置
3.2 评价指标
3.3 结果及分析
4 结束语
文章摘要:为了快速处理航天情报,基于数据驱动的深度学习技术,提出融合多源异构知识标注中文航天情报数据集的方法流程,以及基于预训练(pre-training)模型的航天情报实体识别(AIER)方法;通过对航天情报进行命名实体识别,达到对航天情报进行信息抽取的目的.通过融合BERT(bidirectional encoder representation from transformers)预训练模型和条件随机场(CRF)模型构建AIER模型(BERT-CRF模型),将其与隐马尔可夫模型(HMM)、条件随机场(CRF)模型、双向长短期记忆网络加条件随机场(BiLSTM-CRF)模型进行实体识别对比实验.结果表明:基于预训练模型的AIER模型能够取得93.68%的准确率、97.56%的召回率和95.58%的F1值;相比于其他方法,基于预训练模型方法的性能得到提高.
文章关键词:
项目基金:
上一篇:图书情报与数字图书馆论文_科技文献中技术关联
下一篇:没有了