no code implementations • CCL 2021 • Jishun Zhao, Bingjie Du, Shucheng Zhu, Pengyuan Liu
“自然语言处理领域各项任务中, 模型广泛存在性别偏见。然而当前尚无中文性别偏见评估和消偏的相关数据集, 因此无法对中文自然语言处理模型中的性别偏见进行评估。首先本文根据16对性别称谓词, 从一个平面媒体语料库中筛选出性别无偏的句子, 构建了一个含有20000条语句的中文句子级性别无偏数据集SlguSet。随后, 本文提出了一个可衡量预训练语言模型性别偏见程度的指标, 并对5种流行的预训练语言模型中的性别偏见进行评估。结果表明, 中文预训练语言模型中存在不同程度的性别偏见, 该文所构建数据集能够很好的对中文预训练语言模型中的性别偏见进行评估。同时, 该数据集还可作为评估预训练语言模型消偏方法的数据集。”
no code implementations • CCL 2022 • Mengqing Guo, Jiali Li, Jishun Zhao, Shucheng Zhu, Ying Liu, Pengyuan Liu
“尽管悲观者认为, 职场中永远不可能存在性别平等。但随着人们观念的转变, 愈来愈多的人们相信, 职业的选择应只与个人能力相匹配, 而不应由个体的性别决定。目前已经发现自然语言处理的各个任务中都存在着职业性别偏见。但这些研究往往只针对特定的英文任务, 缺乏针对中文的、综合多任务的职业性别偏见测量研究。本文基于霍兰德职业模型, 从中文自然语言处理中常见的三个任务出发, 测量了词向量、共指消解和文本生成中的职业性别偏见, 发现不同任务中的职业性别偏见既有一定的共性, 又存在着独特的差异性。总体来看, 不同任务中的职业性别偏见反映了现实生活中人们对于不同性别所选择职业的刻板印象。此外, 在设计不同任务的偏见测量指标时, 还需要考虑如语体、词序等语言学要素的影响。”
no code implementations • NAACL (GeBNLP) 2022 • Jiali Li, Shucheng Zhu, Ying Liu, Pengyuan Liu
The results reveal that these grammatical gender-neutral Chinese word embeddings show a certain gender bias, which is consistent with the mainstream society’s perception and judgment of gender.