no code implementations • CCL 2021 • Lou Zhou, Weiguang Qu, Tingxin Wei, Junsheng Zhou, Bin Li, Yanhui Gu
“汉语词语的离合现象是汉语中一种词语可分可合的特殊现象。本文采用字符级序列标注方法解决二字动词离合现象的自动识别问题, 以避免中文分词及词性标注的错误传递, 节省制定匹配规则与特征模板的人工开支。在训练过程中微调BERT中文预训练模型, 获取面向目标任务的字符向量表示, 并引入掩码机制对模型隐藏离用法中分离的词语, 减轻词语本身对识别结果的影响, 强化中间插入成分的学习, 并对前后语素采用不同的掩码以强调其出现顺序, 进而使模型具备了识别复杂及偶发性离用法的能力。为获得含有上下文信息的句子表达, 将原始的句子表达与采用掩码的句子表达分别输入两个不同参数的BiLSTM层进行训练, 最后采用CRF算法捕捉句子标签序列的依赖关系。本文提出的BERT MASK + 2BiLSTMs + CRF模型比现有最优的离合词识别模型提高了2. 85%的F1值。”
