什么地方可以做网站,网页游戏排行版,简单个人博客模板网站,分析竞争对手的网站笔记整理 | 胡楠#xff0c;东南大学来源#xff1a;ICLR 2021论文下载地址#xff1a;https://arxiv.org/pdf/2010.02329.pdf动机最近的研究表明#xff0c;BERT和RoBERTa这种基于BERT的模型容易受到文字对抗攻击的威胁。论文旨在从信息理论的角度解决此问题并提出InfoBER… 笔记整理 | 胡楠东南大学来源ICLR 2021论文下载地址https://arxiv.org/pdf/2010.02329.pdf动机最近的研究表明BERT和RoBERTa这种基于BERT的模型容易受到文字对抗攻击的威胁。论文旨在从信息理论的角度解决此问题并提出InfoBERT这是一种用于对预训练语言模型进行健壮微调的新颖学习框架。InfoBERT包含两个用于模型训练的基于互信息的正则器iInformation Bottleneck regularizer用于抑制输入和特征表示之间的嘈杂的互信息iiAnchored Feature regularizer可增加局部稳定特征和全局特征之间的相互信息。论文提出一种方法可以从理论上分析和提高标准训练和对抗训练中语言模型的鲁棒性。大量实验表明InfoBERT在自然语言推理NLI和问题解答QA任务的多个对抗性数据集上均达到了最先进的鲁棒准确性。贡献论文的贡献总结如下。i从信息论的角度提出了一种新颖的学习框架InfoBERT旨在有效地提高语言模型的鲁棒性。ii提供了关于模型鲁棒性的原则性理论分析并提出了两个基于MI的正则化器来细化局部和全局特征可将其应用于针对不同NLP任务的标准训练和对抗训练。iii全面的实验结果表明InfoBERT可以在不牺牲良性准确性的情况下大幅提高鲁棒准确性从而在NLI和QA任务的多个对抗性数据集上产生了最先进的表现。实验Adversarial DatasetsIAdversarial NLIANLI是大型NLI基准通过迭代、对抗性的、人为模型的循环过程收集来攻击BERT和RoBERTa。ANLI数据集是强大的对抗性数据集可轻松将BERTLarge的准确性降低至0。IIAdversarial SQuAD数据集是一种对抗性QA基准数据集由一组手工规则生成并通过众包进行精炼。由于没有提供对抗训练数据因此论文仅在良性SQuAD训练数据上微调RoBERTa Large并在良性和对抗性测试集上测试模型。IIITextFooler是最新的词级对抗攻击方法用于生成对抗示例。为了创建对抗性评估数据集论文分别从SNLI和MNLI的测试集中采样了1,000个示例并针对BERT Large和RoBERTa Large运行TextFooler以获取对抗性文本示例。Baselines由于基于IBP的方法还不能应用于大规模的语言模型并且基于随机平滑的方法实现了有限的认证鲁棒性因此论文将InfoBERT与基于对抗训练的三个竞争基线进行了比较IFreeLB在微调阶段对语言模型进行对抗性训练以提高泛化能力。二SMART在微调过程中使用对抗训练作为平滑诱导正则化和Bregman近点优化以提高语言模型的泛化和鲁棒性。三ALUM在训练前和微调阶段都进行对抗性训练在广泛的NLP任务中获得了显著的性能增益。由于对抗性训练的高计算成本论文将InfoBERT与ALUM和SMART进行了比较并与原始文献中的最佳结果进行了比较。Evaluation Metrics我们使用稳健精度或稳健F1评分来衡量基线模型和InfoBERT在面对对手数据时的稳健程度。具体来说鲁棒精度的计算方法是其中Dadv是对抗数据集y是地面真值标签arg max选择logits最高的类是指示函数。类似地鲁棒F1分数的计算公式为其中是真实答案a和预测答案arg max之间的F1分数arg max选择概率最高的答案。实验结果论文从信息论的角度提出了一种新的学习框架InfoBERT在理论分析的支持下InfoBERT为提高BERT和RoBERTa对NLI和QA任务的鲁棒性提供了一种原则性的方法。综合实验表明InfoBERT在对抗性数据集上取得了新的进展为提高语言模型表征学习的鲁棒性提供了一种新的有效方法。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 网站。
