题目：基于关联神经元识别的知识编辑方法
团队：吴钰璋 穆永誉 王成龙 何荞至 肖桐 马安香 张春良 朱靖波
简介：
近年来，大语言模型展现出了从训练语料中存储并提取知识的优秀能力，但相应地，其可靠性也容易遭受训练语料中错误信息的破坏，
进而产生信息过时、错误回复等问题。
基于神经元识别的知识编辑方法通过在模型中识别并微调与目标知识相关的知识神经元，实现对模型内部知识的精确修改。
然而，本文研究发现，知识的表达形式会显著影响知识神经元的识别结果，
例如，现有神经元识别方法对于同一知识的不同表达形式识别得到的神经元集合平均重叠率只有21.86%。
这就导致只对单一的表达形式进行知识编辑无法覆盖到与这个知识相关的所有神经元，所以现有知识编辑方法的鲁棒性往往较差。
为了全面且准确地识别神经元，本文设计了一种轻量级关联神经元识别器（Lightweight Associated Neuron Detector, LAND），
通过学习不同表达形式的知识识别出的知识神经元集合之间的差异，从而在知识神经元识别的过程中，自动补全因表达形式差异而未被检出的知识神经元。
实验结果表明，LAND方法能够将不同表达形式的文本识别出的知识神经元平均重叠率提升至96%以上，
在不同句式的知识编辑成功率上较基线方法多提升了至多10.83个百分点。
上一条：实验室一篇论文被NLPCC录用
下一条：实验室两篇论文被ACL录用
手机浏览
