宿迁专业三合一网站开发,wordpress小工具显示不了,crm管理系统 一般包含,wordpress的title作者 | 李梅编辑 | 陈彩娴来源 | AI科技评论人类从与他人的互动中学习#xff0c;而目前的人工智能却常常只能在与社会隔离的环境中学习。所以当我们把一个智能体放到真实世界中时#xff0c;它会不可避免地在遇到大量新的数据#xff0c;无法应对不断变化的新需求。如何将智…作者 | 李梅编辑 | 陈彩娴来源 | AI科技评论人类从与他人的互动中学习而目前的人工智能却常常只能在与社会隔离的环境中学习。所以当我们把一个智能体放到真实世界中时它会不可避免地在遇到大量新的数据无法应对不断变化的新需求。如何将智能体从只有一堆书的房间里“解放”出来让它在广阔的社会情境中学习是一个新的挑战。最近斯坦福大学计算机系的 Ranjay Krishna、Donsuk Lee、李飞飞、Michael Bernstein 等人针对此问题提出了一种新的研究框架社会化人工智能socially situated AI即智能体通过在现实社会环境中与人的持续互动来学习。 论文“Socially situated artificial intelligence enables learning from human interaction”已发表在美国科学院院刊PNAS上。论文地址https://www.pnas.org/doi/epdf/10.1073/pnas.2115730119在这项工作中研究团队将社会化 AI 形式化为一个强化学习的过程即智能体通过从社会互动中获取的奖励来学习识别有信息量的问题。在一个视觉问答任务的测试中与其他智能体相比社会化智能体识别新视觉信息的性能提高了 112%。1 社会化 AI 的强化学习框架目前在迭代扩展模型能力时主动学习是最常用的一个框架。它的目标是优化一系列标注请求以获取新的数据并将新数据将用于以尽可能少的请求来提高模型的性能。主动学习已经被形式化为强化学习的过程其中真正的人类角色被移除只假设存在一个能为所有请求提供标签的“预言机”。尽管纯粹的主动学习方法也可以通过社会环境中的互动来收集新数据但从用户角度看他们并不原意充当“预言机”的角色来做重复提供标签的劳动这就打破了主动学习的基本假设。所以我们必须探索智能体真正与人交互的学习方法。要开发社会化的 AI智能体不仅要收集数据来学习新概念还要学习如何与人互动来收集数据。而且智能体必须要在交互学习interacting to learn和学习交互learning to interact这两个目标之间进行权衡。这非常具有挑战性因为智能体要遍历的可能交互空间是巨大的只有一部分社会交互空间是有用的并且信息交互空间还会随着智能体的学习进程而不断变化。在强化学习中我们将可能的交互形式化为行动空间将反馈形式化为奖励需要数亿次交互才能获得具有信息量和亲社会的交互的子空间这让很多研究人员望而却步。所以目前从与人类交互中学习的方法通常只局限于人工标注或者小的工作空间如只有几十个动作的游戏和仿真环境。为此研究团队将社会化的 AI 形式化为一个迭代强化学习问题。▲图注社会化 AI 的强化学习框架其框架描述如下一个智能体被放置在社会环境 E(SAPP0) 当中它的目标是收集数据以尽可能少的交互来优化模型的性能S 是环境状态如对话智能体的对话历史或机器人智能体在三维世界中当前位置A 是智能体可以发起的与人交互的可能空间如对话智能体可以询问的一组语句或机器人智能体可以执行的一组动作。PS × A → S 是过渡动力学transition dynamics如使用过渡函数transition function编码人们对智能体历史行为的反应以及环境的变化。最后P0 是初始状态分布的概率测度。总结而言这样一个迭代强化学习的过程包括三个重要的方面改进底层模型、发现社会规范、更新交互策略。它们贯穿着智能体的整个生命周期。其中智能体在人们可能会或可能不会做出信息回应的社会环境中与人进行互动从而改进底层模型。只有当人的回应包含对智能体有用的新信息时回应才是有用的。因此智能体必须与环境中数十万人的单次交互从中选择能够引发对模型有用的新概念的社会互动。为了平衡智能体的交互学习和学习交互两个目标我们可以引入知识奖励knowledge reward来引导智能体进行交互以获得有用的新概念同时采用交互奖励interaction reward来引导智能体进行符合环境中社会规范的交互。在使用新概念改进模型的基础上智能体会更新其策略开始学习如何就人们有兴趣回应的新概念提出问题来改进自身性能还比较差的部分。2 从问答互动中改进视觉模型为了验证社会化 AI 框架在计算机视觉中的实用性作者在照片共享社交网络应用 Instagram 上部署了一个社会化智能体它向人们提出自然语言问题并从人的回应中提取答案收集视觉知识。这种使用自然语言来获取视觉知识的方法可以用来测试很多计算机视觉识别任务如对象检测“图像中有什么”、细粒度识别“花瓶里是什么花”、属性分类“这张桌子是用什么材料做的”、知识库推理“这份食物是素食吗”和常识推理“这张照片是在冬天拍摄的吗”等等。在这项工作中研究团队设计了一个计算机视觉问答模型其输入是一张图像和相应的自然语言问题输出是一个自然语言答案。智能体提出的问题非常多样如下图。▲图注社会化智能体在社交媒体上发起的互动示例智能体的目标是从与人的交互中获得数据提高模型识别视觉概念的能力。为了达到这个目标智能体需要一些“奖励”。如上文所述的框架作者引入了知识奖励和互动奖励。知识奖励衡量模型的在识别任务中的确定性。在刚开始识别模型不知道如何识别任何概念但随着看到的特定概念的增长它会对自己的判断更加肯定。比如如果人们帮助智能体将图像中的动物识别为鹿那么它的不确定性就会减少。交互奖励则引导智能体的行为符合社区规范。如在社交网络中人们更喜欢回答较短的问题、提供事实知识以及回避含糊不清的问题。所以智能体的每一次交互都会被标记为积极产生了新信息或消极未获得新信息从而被不断训练成亲社会的。最后是如何寻找有用的语言交互问题。这是一个组合性的搜索问题。一种直接的方法可以将智能体的策略设计成一个从图像到提问的生成模型。随着模型性能的提升信息交互的空间会不断变化因此组合搜索过程需要反复重复。为了使搜索过程更易于处理作者使用现有的信息最大化变分自动编码器来学习现实中人与人交互的表示通过重新配置策略将输入图像映射到表示空间中并通过设计解码器从表示空间映射到单词序列。3 更少的交互更高的识别准确率在社会化 AI 的框架中智能体同时有两个目标一个发起社交互动让人们根据信息数据作出回应另一个是通过收集有用的数据来改进其基础模型。这两个目标也成了智能体的评估指标。首先为了评估该智能体获得回应的能力我们需要测量对它所提问题的信息回应率Informative Response Rate也就是它收到问题答案即获得有用的交互的交互百分比。较高的信息回应率意味着对智能体对隐性社会规范有更好的理解而较低的信息回应率则意味着人们不给予回应这会减慢甚至停止智能体的学习进程。其次为了评估智能体识别新的视觉概念的能力研究人员使用由 Amazon Mechanical Turk 的注释器收集的 50104 个社交媒体图像、问题和答案构成测试集来评估视觉识别模型的准确率。此外为了对照和比较使用社会化 AI 框架所涉及的社会化智能体与其他智能体的区别作者还部署了一个仅使用交互奖励的人类偏好智能体一个仅使用知识奖励的主动学习智能体以及一个基线智能体。这个基线智能体不使用预训练的交互表示作为动作空间它允许微调解码器的参数使用整个组合词汇空间作为动作空间。而且它同时使用交互奖励和知识奖励并额外添加了语言建模奖励以鼓励它生成语法正确的语言。所有这些智能体都使用近端策略梯度proximal policy gradients进行训练而且都使用相同数量的数据进行初始化并具有相同的策略和解码器架构。实验进行了 8 个月每个智能体可以发起至少 20 万次交互。当它们与人交互、并收集新的视觉知识时信息回应率和识别准确率的变化结果表明社会化智能体整体上优于其他智能体。信息回应率更高如下图在 236000 次互动中社会化智能体的信息回应率从最初的 22% 提高到 33%相对提高了 50%。相比之下主动学习和基线智能体在每次迭代后获得的回应较少分别为 6% 和 12.3%。▲图注信息回应率与发起的交互次数的关系。社会化智能体绿色和人类偏好的智能体紫色都使用交互奖励在交互次数提高的同时信息回应率也更高其他智能体的信息回应率随着交互次数的增加而下降这是因为交互会阻碍它们的数据采集。具体来看基线智能体在尽力探索所有可能的语言交互组合空间时不可避免地会产生不连贯的问题这导致了回应率的下降并产生一个恶性循环从而无法识别有用的交互。回应率下降到 6% 以后研究人员将其终止。主动学习智能体的弊端则在于它会提出更长、更难的问题无法引起热人们的兴趣。例如要回答“这些工具是为左撇子还是右撇子设计的”这个问题还得知道有关特定工具的知识以及是否可以用任何一只手操作。人类偏好智能体的回应率最高但它的提问又太简单了。比如它会问“这件衬衫是什么颜色的”可以看到当前实验中智能体的最高回应率是 33%那么这一数值还有多少上升空间呢研究人员又进行了一项实验聘请标注人员来人工编辑问题以增加智能体获得回应的可能性。最终智能体获得了 37% 的回应率这代表了人类从既定社会环境中获得回应的平均能力。所以智能体还有 4% 的社交能力提升空间。识别准确率更高再来看这些智能体在使用收集的数据来改进视觉模型方面表现如何。与其他智能体相比社会化智能体能使用更少的交互来提高识别准确率。它在 236000 次交互中实现了 39.44% 的模型性能下图 B从中收到了 70000 条回应下图 C。▲图注视觉模型性能与智能体发起的交互次数之间的关系。社会化智能体和主动学习智能体橙色都使用知识奖励来收集有用数据但主动学习智能体本身缺少交互要达到同样性能它需要更多交互。▲图注视觉模型性能与来自人的回应数量的关系。社会化智能体需要权衡知识与交互两种奖励其准确率的提高与主动学习智能体相当而后者只能最大化知识奖励。相比之下主动学习智能体共发起了 274893 次交互但仅收到 30000 条回应并且性能开始饱和达到 31.4%回应率也下降到 12.3%。这再次表明在某些社会环境中纯粹的主动学习方法是不可行的。而人类偏好智能体每次交互虽然都会收到更多回应但它收集的数据并没有改善视觉模型。因为它倾向于收集一小部分问题的答案因此它的底层视觉模型开始过拟合最后只生成与时间相关或与颜色相关的输出。基线智能体也暴露出它的问题即不连贯收集的数据也没有用。获取比传统数据集更多的新信息最后研究团队对使用社会化智能体收集的数据进行的训练与使用现有数据集中的数据进行的训练作了比较。结果表明前者的识别准确率远高于后者这说明社会化智能体可以获得传统数据集中不存在的新信息。▲图注从社会互动中收集的数据与从传统数据集中的数据进行训练的准确率比较。使用来自现有数据集的相同数量的标签进行训练仅将准确度从 11.24% 提高到 17.45%而使用来自社会互动的数据进行训练时准确度从 18.13% 提高到 39.44%。总结一下这项研究的重要创新之处在于它提出了一个智能体从与人的交互中学习的形式框架并通过使用语言交互的视觉模型验证了该框架的实用性。作者相信这项工作将有助于更广泛的交互式智能体的研究。后台回复关键词【入群】加入卖萌屋NLP、CV、搜推广与求职讨论群
