Search Results for author:
Found 8 papers, 0 papers with code
基于模型不确定性约束的半监督汉缅神经机器翻译(Semi-Supervised Chinese-Myanmar Neural Machine Translation based Model-Uncertainty)
“基于回译的半监督神经机器翻译方法在低资源神经机器翻译取得了明显的效果, 然而, 由于汉缅双语资源稀缺、结构差异较大, 传统基于Transformer的回译方法中编码端的Self-attention机制不能有效区别回译中产生的伪平行数据的噪声对句子编码的影响, 致使译文出现漏译, 多译, 错译等问题。为此, 该文提出基于模型不确定性为约束的半监督汉缅神经机器翻译方法, 在Transformer网络中利用基于变分推断的蒙特卡洛Dropout构建模型不确定性注意力机制, 获取到能够区分噪声数据的句子向量表征, 在此基础上与Self-attention机制得到的句子编码向量进行融合, 以此得到句子有效编码表征。实验证明, 本文方法相比传统基于Transformer的回译方法在汉语-缅甸语和缅甸语-汉语两个翻译方向BLEU值分别提升了4. 01和1. 88个点, 充分验证了该方法在汉缅神经翻译任务的有效性。”
基于多语言联合训练的汉-英-缅神经机器翻译方法(Chinese-English-Burmese Neural Machine Translation Method Based on Multilingual Joint Training)
多语言神经机器翻译是解决低资源神经机器翻译的有效方法, 现有方法通常依靠共享词表的方式解决英语、法语以及德语相似语言之间的多语言翻译问题。缅甸语属于一种典型的低资源语言, 汉语、英语以及缅甸语之间的语言结构差异性较大, 为了缓解由于差异性引起的共享词表大小受限制的问题, 提出一种基于多语言联合训练的汉英缅神经机器翻译方法。在Transformer框架下将丰富的汉英平行语料与汉缅、英缅的语料进行联合训练, 模型训练过程中分别在编码端和解码端将汉英缅映射在同一语义空间降低汉英缅语言结构差异性对共享词表的影响, 通过共享汉英语料训练参数来弥补汉缅数据缺失的问题。实验表明在一对多、多对多的翻译场景下, 提出方法相比基线模型的汉-英、英-缅以及汉-缅的BLEU值有明显的提升。
融合双重注意力机制的缅甸语图像文本识别方法(Burmese image text recognition method with dual attention mechanism)
“由于缅甸语字符具有独特的语言编码结构以及字符组合规则, 现有图像文本识别方法在缅甸语图像识别任务中无法充分关注文字边缘的特征, 会导致缅甸语字符上下标丢失的问题。因此, 本文基于Transformer框架的图像文本识别方法做出改进, 提出一种融合通道和空间注意力机制的视觉关注模块, 旨在捕获像素级成对关系和通道依赖关系, 降低缅甸语图像中噪声干扰从而获得语义更完整的特征图。此外, 在解码过程中, 将基于多头注意力的解码单元组合为解码器, 用于将特征序列转化为缅甸语文字。实验结果表明, 该方法在自构的缅甸语图像文本识别数据集上相比Transformer识别准确率提高0. 5%, 达到95. 3%。”
StreamingDialogue: Prolonged Dialogue Learning via Long Context Compression with Minimal Losses
Accordingly, we introduce StreamingDialogue, which compresses long dialogue history into conv-attn sinks with minimal losses, and thus reduces computational complexity quadratically with the number of sinks (i. e., the number of utterances).
"In Dialogues We Learn": Towards Personalized Dialogue Without Pre-defined Profiles through In-Dialogue Learning
Personalized dialogue systems have gained significant attention in recent years for their ability to generate responses in alignment with different personas.
