基于堆叠式注意力网络的复杂话语领域分类方法(Complex Utterance Domain Classification Using Stacked Attention Networks)

no code implementations • CCL 2021 • Chaojie Liang, Peijie Huang, Jiande Ding, Jiankai Zhu, Piyuan Lin

“话语领域分类(utterance domain classification UDC)是口语语言理解(spoken lan-guage understanding SLU)中语义分析的关键步骤。尽管带注意力机制的递归神经网络已经得到了广泛的应用, 并将UDC的研究进展提高到了一个新的水平, 但是对于复杂的话语, 如长度较长的话语或带有逗号的复合句的话语, 有效的UDC仍然是一个挑战。本文提出一种基于堆叠式注意力网络的话语领域分类方法SAN-DC(stacked attention networks-DC)。该模型综合了对口语话语多层次的语言特征的捕捉, 增强对复杂话语的理解。首先在模型底层采用语境化词向量(contextualized word embedding)得到良好的词汇特征表达, 并在词法层采用长短期记忆网络(long short-term memory)将话语编码为上下文向量表示。接着在语法级别上使用自注意力机制(self-attention mechanism)来捕捉特定领域的词依赖, 然后使用词注意力(word-attention)层提取语义信息。最后使用残差连接(residual connection)将低层语言信息传递到高层, 更好地实现多层语言信息的融合。本文在中文话语领域分类基准语料SMP-ECDT上验证所提出的方法的有效性。通过与研究进展的文本分类模型对比, 本文的方法取得了较高的话语领域分类正确率。尤其是对于较为复杂的用户话语, 本文提出的方法较研究进展方法的性能提升更为显著。”

domain classification