情报探索

计算机软件及计算机应用论文_预训练模型下航天

 
文章目录

1 AIER数据集的构建

1.1 多源异构知识库的构建

1.2 基于前缀树和双匹配算法的启发式标注

1.3 标注体系与数据划分

2 基于预训练模型的AIER模型

2.1 预训练模型与BERT

2.2 CRF标签解码器

2.3 BERT-CRF模型

3 实验结果与分析

3.1 实验设置

3.2 评价指标

3.3 结果及分析

4 结束语

文章摘要:为了快速处理航天情报,基于数据驱动的深度学习技术,提出融合多源异构知识标注中文航天情报数据集的方法流程,以及基于预训练(pre-training)模型的航天情报实体识别(AIER)方法;通过对航天情报进行命名实体识别,达到对航天情报进行信息抽取的目的.通过融合BERT(bidirectional encoder representation from transformers)预训练模型和条件随机场(CRF)模型构建AIER模型(BERT-CRF模型),将其与隐马尔可夫模型(HMM)、条件随机场(CRF)模型、双向长短期记忆网络加条件随机场(BiLSTM-CRF)模型进行实体识别对比实验.结果表明:基于预训练模型的AIER模型能够取得93.68%的准确率、97.56%的召回率和95.58%的F1值;相比于其他方法,基于预训练模型方法的性能得到提高.

文章关键词:

项目基金: 上一篇:图书情报与数字图书馆论文_科技文献中技术关联
下一篇:没有了