图片优化网站,特价服务器,网站开发与维护工资多少,互联网项目推广是什么今天为大家介绍的是来自Mario Krenn团队的一篇论文。一个能够通过从科学文献中获取洞见来建议新的个性化研究方向和想法的工具#xff0c;可以加速科学的进步。一个可能受益于这种工具的领域是人工智能#xff08;AI#xff09;研究#xff0c;近年来科学出版物的数量呈指数… 今天为大家介绍的是来自Mario Krenn团队的一篇论文。一个能够通过从科学文献中获取洞见来建议新的个性化研究方向和想法的工具可以加速科学的进步。一个可能受益于这种工具的领域是人工智能AI研究近年来科学出版物的数量呈指数级增长这使得人类研究者难以跟上进展。在这里作者使用AI技术来预测AI自身的未来研究方向。 科学文献的语料库以越来越快的速度增长。特别是在人工智能AI和机器学习ML领域每个月的论文数量都在以大约23个月翻一番的速度指数级增长见图1。同时AI社区正在吸纳来自数学、统计学和物理学等多个学科的多样化思想这使得组织不同的想法和发现新的科学联系变得更具挑战性。作者设想一个计算机程序可以自动阅读、理解并对AI文献采取行动。它可以预测并提出超越个人知识和跨领域界限的有意义研究想法。如果成功它可以极大地提高AI研究人员的生产力开辟新的研究途径并帮助推动该领域的进步。在这项工作中作者着手实现通过数据驱动方法预测未来研究方向。由于新的研究想法往往来自于看似不相关概念的连接作者将AI文献的演化模拟为一个时间网络。 图 1 语义网络 语义网络的目标是从科学文献中提取知识随后可以由计算机算法处理。乍看之下这个流程的第一步可能是使用大型语言模型对每篇文章进行处理自动提取概念及其关系。然而这些方法在推理能力上仍然存在困难因此目前还不清楚这些模型如何用于识别和建议新的想法和概念组合。研究人员开创了一种替代方法在生物化学中从科学论文中共现的概念创建语义网络。在那里节点代表科学概念特别是生物分子并且当论文在其标题或摘要中提及两者时就会被链接。这个不断演化的网络捕捉了该领域的历史并使用超级计算机模拟提供了对科学家集体行为的洞察并建议了更有效的研究策略。尽管从概念共现中创建语义网络只从每篇论文中提取了少量知识但当应用于大型数据集时它捕捉到了有意义且可操作的内容。PaperRobot通过从大型医学知识图中预测新链接并以人类语言形式制定新想法作为论文草案扩展了这一方法。这种方法被应用并扩展到量子物理学通过构建一个包含6,000多个概念的语义网络。研究人员将新研究趋势和联系的预测形式化为一个ML任务目标是识别文献中尚未共同讨论但可能在未来被调查的概念对。这个预测任务是为个性化建议新研究想法的一个组成部分。 作者将未来研究主题的预测形式化为人工智能领域中一个指数级增长的语义网络中的链接预测任务。目标是预测未来哪些尚未连接的节点代表尚未共同研究的科学概念将会被连接起来。链接预测在计算机科学中是一个常见问题通过经典的度量和特征以及机器学习技术来解决。在语义网络中对研究方向进行预测的目标是向研究者提供新的想法。在某种程度上作者希望建立一个在科学上有创造力的人工缪斯。除此之外还可以偏向或约束模型以提供与个别科学家的研究兴趣相关的主题建议或者为两位科学家的跨学科合作提供合作主题。 数据的来源 图 2 图 3 图 4 图 5 作者使用1992年到2020年在arXiv上发布的论文在类别cs.AI、cs.LG、cs.NE和stat.ML中创建了一个动态的语义网络。64,719个节点代表从143,000篇论文标题和摘要中提取的AI概念这些概念是通过快速自动关键词提取RAKE获取的并通过自然语言处理NLP技术和自定义方法进行了规范化。作者的目标是构建一个可扩展的方法适用于任何科学领域。概念形成语义网络的节点当概念在论文标题或摘要中共现时就会画出相互连接的边。边有基于论文发表日期的时间戳属性常见的是概念之间有多个时间戳的边。网络是加权的边的权重代表连接两个概念的论文数量。总的来说这创建了一个随时间演化的语义网络如图2所示。发布的语义网络有64,719个节点和17,892,352个独特的无向边平均节点度为553。许多中心节点的度远远超过这个平均值如图3所示。观察到随时间网络连通性的变化。尽管度分布仍然是重尾的但由于流行趋势的影响尾部内的节点顺序发生了变化。最具连接性的节点以及它们成为这样的年份包括决策树1994年、机器学习1996年、逻辑程序2000年、神经网络2005年、实验结果2011年、机器学习2013年第二次和神经网络2015年。图4中的连通分量分析显示网络随着时间的推移变得更加连通最大的研究群体扩大了而网络整体的连通分量的数量减少了。语义网络揭示了随时间的增加中心化百分比更小的节点概念贡献了更大的边缘概念组合部分如图5显示。这可能是由于AI社区对少数主导方法越来越关注或者对术语使用的更一致。 实验部分 图 6 作者展示了预测语义网络中新链接基于2020年前的数据训练预测2021年的研究的各种方法范围从纯统计学方法到带有手工制作特征NF的神经网络再到不含NF的机器学习ML模型。结果显示在图6中使用NF作为ML模型输入的方法获得了最高的AUC分数。没有ML的纯网络特征也具有竞争力而纯ML方法尚未胜过那些带有NF的方法。预测至少产生三次的网络链接可以达到AUC 0.995。 结论 作者的方法代表着向开发一个可以帮助科学家发现新的探索途径的工具迈出的关键一步。作者相信文章中概述的想法和扩展为实现实用、个性化、跨学科的基于AI的新发现建议铺平了道路。并且坚信这样的工具具有成为影响深远的催化剂的潜力它将改变科学家们在各自领域内提出研究问题和协作的方式。 参考资料 Krenn, M., Buffoni, L., Coutinho, B. et al. Forecasting the future of artificial intelligence with machine learning-based link prediction in an exponentially growing knowledge network. Nat Mach Intell (2023). https://doi.org/10.1038/s42256-023-00735-0
