情感数据的“标注者间一致性”(Inter-annotator Agreement)如何影响模型性能? 热门官方
回答:情感标注具有主观性(如“这句话是讽刺还是幽默”可能仁者见仁),标注者间一致性低(如Cohen’s κ<0.6)会导致训练数据噪声大,模型泛化能力差。提升一致性的方法包括:① 制定详细的情感标注指南(如明确“讽刺”的定义:“表面赞扬,实际否定”+示例);② 进行标注者培训(通过试标注与反馈统一标准);③ 采用多标注者投票(取多数意见作为标签)。研究表明,将κ从0.5提升至0.8,模型准确率可提升12%-16%。
用户讨论(回复)
共 0 条记录,当前显示第 1- 条
« 上一页
下一页 »
相关阅读