文章目录

1 引言

2 人工评价

2.1 评价者与评价结果的选择

2.2 内部评价与外部评价

2.3 评价方式

2.4 评价参考和事先培训

2.5 人工评价标准

    2.5.1 机器翻译

    2.5.2 自动文摘

    2.5.3 对话系统

3 自动评价

3.1 对自动评价算法的要求

3.2 不同任务的自动评价算法分析与资源

    3.2.1 机器翻译

    3.2.2 自动文摘

    3.2.3 图像标题生成

    3.2.4 对话系统

    3.2.5 其他语言生成任务

    3.2.6 不同任务算法之间的联系与应用

3.3 自动评价性能的影响因素与特点

4 结束语

文章摘要:生成语言的质量评价很大程度上影响着自然语言生成的研究,已成为制约该领域发展的瓶颈问题。通过对机器翻译、自动文摘、对话系统、图像标题生成和机器写作等广义自然语言生成任务的语言质量评价方法的汇总,介绍了人工评价和自动评价的特点、优缺点和开放评价资源,分析了不同任务的不同评价角度和适用面。不同评价方法的对比分析,可为方法融合和关键问题的探索提供借鉴。整体上机器生成语言质量评价还局限于语言形式的比较,在语义表达的准确性、衔接连贯性等深层评价上存在诸多挑战。结合评价难点问题和现有研究的推进情况,分析了生成语言质量评价的研究趋势。

文章关键词:

论文分类号:TP18