no code implementations • CCL 2021 • Zhanbiao Zhu, Peijie Huang, Yexing Zhang, Shudong Liu, Hualin Zhang, Junyao Huang
“意图识别和槽信息填充的联合模型将口语理解技术(Spoken Language Understanding)提升到了一个新的水平, 但由于存在出现频率低或未见过的槽指称项(0 shot slot mentions), 模型的序列标注性能受限, 而且这些联合模型往往没有利用输入序列存在的语法知识信息。已有研究表明序列标注任务可以通过引入依赖树结构, 辅助推断序列标注中槽的存在。在中文口语对话理解中, 由于中文话语是一串字序列组成, 输入话语的字和槽信息是一一对应的, 因而槽信息填充模型往往是字特征模型。基于词的依赖树结构无法直接应用于基于字特征的槽填充模型。为了解决字词之间的矛盾, 本文提出了一种基于字模型的依赖引导槽填充模型(dependency guided character-based slot filling model, DCSF), 提供了一种简洁的方法解决将词级依赖树结构引入中文字特征模型的冲突, 同时通过对话语中词汇内部关系进行建模, 保留了词级上下文信息和分词信息。在公共基准语料库当SMP-ECDT和CrossWOZ上的实验结果表明, 我们的模型优于比较模型, 特别是在未见过的槽指称项和低资源情况下有很大的改进。”
no code implementations • CCL 2021 • Zhanbiao Zhu, Peijie Huang, Yexing Zhang, Shudong Liu, Hualin Zhang, Junyao Huang
“意图识别和槽信息填充的联合模型将口语理解技术(Spoken language understandingSLU)提升到了一个新的水平, 但是目前研究进展的模型通过话语上下文信息判断位置信息, 缺少对槽信息标签之间位置信息的考虑, 导致模型在槽位提取过程中容易发生边界错误, 进而影响最终槽位提取表现。而且在槽信息提取任务中, 槽指称项(Slot mentions)可能与正常表述话语并没有区别, 特别是电影名字、歌曲名字等, 模型容易受到槽指称项话语的干扰, 因而无法在槽位提取中正确识别槽位边界。本文提出了一种面向口语理解的结合边界预测和动态模板的槽填充(Boundary-predictionand Dynamic-template Slot Filling BDSF)模型。该模型提供了一种联合预测边界信息的辅助任务, 将位置信息引入到槽信息填充中, 同时利用动态模版机制对话语句式建模, 能够让模型聚焦于话语中的非槽指称项部分, 避免了模型被槽指称项干扰, 增强模型区分槽位边界的能力。在公共基准语料库CAIS和SMP-ECDT上的实验结果表明, 我们的模型优于比较模型, 特别是能够为槽标签预测模型提供准确的位置信息。”