网站建设考评表,wordpress企业建站视频教程,wordpress创始人,wordpress 熊掌号api01 什么是知识图谱
我们可以从不同的视角去审视知识图谱的概念。
在Web视角下#xff0c;知识图谱如同简单文本之间的超链接一样#xff0c;通过建立数据之间的语义链接#xff0c;支持语义搜索。 在自然语言处理视角下#xff0c;知识图谱就是从文本中抽取语义和结构化的…01 什么是知识图谱
我们可以从不同的视角去审视知识图谱的概念。
在Web视角下知识图谱如同简单文本之间的超链接一样通过建立数据之间的语义链接支持语义搜索。 在自然语言处理视角下知识图谱就是从文本中抽取语义和结构化的数据。 在知识表示视角下知识图谱是采用计算机符号表示和处理知识的方法。 在人工智能视角下知识图谱是利用知识库来辅助理解人类语言的工具。 在数据库视角下知识图谱是利用图的方式去存储知识的方法。
目前学术界还没有给知识图谱一个统一的定义。在谷歌发布的文档中有明确的描述知识图谱是一种用图模型来描述知识和建模世界万物之间关联关系的技术方法。
知识图谱还是比较通用的语义知识的形式化描述框架它用节点表示语义符号用边表示语义之间的关系如图3-1所示。在知识图谱中人、事、物通常被称作实体或本体。 ▲图3-1 知识图谱示例
知识图谱的组成三要素包括实体、关系和属性。
实体又叫作本体Ontology指客观存在并可相互区别的事物可以是具体的人、事、物也可以是抽象的概念或联系。实体是知识图谱中最基本的元素。 关系在知识图谱中边表示知识图谱中的关系用来表示不同实体间的某种联系。如图3-1所示图灵和人工智能之间的关系知识图谱和谷歌之间的关系谷歌和深度学习之间的关系。 属性知识图谱中的实体和关系都可以有各自的属性如图3-2所示。 ▲图3-2 知识图谱中的属性
知识图谱的构建涉及知识建模、关系抽取、图存储、关系推理、实体融合等多方面技术。知识图谱的应用则体现在语义搜索、智能问答、语言理解、决策分析等多个领域。
02 知识图谱的价值
知识图谱最早应用于搜索引擎一方面通过推理实现概念检索另一方面以图形化方式向用户展示经过分类整理的结构化知识从而使人们从人工过滤网页寻找答案的模式中解脱出来可应用到智能问答、自然语言理解、推荐等方面。
知识图谱的发展得益于Web技术的发展受KR、NLP、Web以及AI等方面的影响。知识图谱的价值归根结底是为了让AI变得更智慧。
助力搜索
搜索的目的是在万物互联的网络中能够使人们方便、快速地找到某一事物。目前我们的搜索习惯和搜索行为仍然是以关键词为搜索目的知识图谱的出现可以彻底改变这种搜索行为模式。
在知识图谱还没有应用到搜索引擎上时搜索的流程是从海量的URL中找出与查询匹配度最高的URL按照查询结果把排序分值最高的一些结果返回给用户。在整个过程中搜索引擎可能并不需要知道用户输入的是什么因为系统不具备推理能力在精准搜索方面也略显不足。
而基于知识图谱的搜索除了能够直接回答用户的问题外还具有一定的语义推理能力大大提高了搜索的精确度。图3-3所示是知识图谱助力搜索示意图。 ▲图3-3 知识图谱助力搜索
助力推荐
推荐技术和搜索技术非常相似但是稍有区别。搜索技术采用信息拉取的方式而推荐技术采用信息推送的方式所以在推荐技术中有一些问题比如冷启动和数据稀疏问题。
以电商推荐为例介绍知识图谱在推荐上的应用。假设我买了手机手机的强下位关系是手机壳这样系统就可以给我推荐手机壳同时也可以推荐相似或互补的实体。图3-4为知识图谱助力推荐示意图。 ▲图3-4 知识图谱助力推荐
助力问答
问答与对话系统一直是NLP在人工智能实现领域的关键标志之一。知识图谱相当于是给问答与对话系统挂载了一个背景知识库。
对于问答与对话系统或者聊天机器人来说其除了需要实体知识图谱和兴趣知识图谱等开放领域的稀疏大图外还需要针对机器人和用户个性化的稠密小图。同时知识图谱是需要动态更新的。图3-5是知识图谱助力问答示意图。 ▲图3-5 知识图谱助力问答
03 知识图谱的架构
知识图谱的架构涉及知识表示、知识获取、知识处理和知识利用等多个方面。
一般情况下知识图谱构建流程如下首先确定知识表示模型然后根据不同的数据来源选择不同的知识获取手段并导入相关的知识接着利用知识推理、知识融合、知识挖掘等技术构建相应的知识图谱最后根据不同应用场景设计知识图谱的表现方式比如语义搜索、智能推荐、智能问答等。
从逻辑上我们可以将知识图谱划分为两个层次数据层和模式层。数据层可以是以事实为单位存储的数据库可以选用的图数据库有RDF4j、Virtuoso、Neo4j等三元组。
实体关系实体或者实体属性属性值可以作为基本的表达方式存储在图数据库中。模式层建立在数据层之上是知识图谱的核心。通常通过本体库来管理数据层本体库的概念相当于对象中“类”的概念。借助本体库我们可以管理公理、规则和约束条件规范实体、关系、属性这些具体对象间的关系。
知识图谱有自顶向下和自底向上两种构建方式。自顶向下构建是指借助百科类数据源提取本体和模式信息并加入知识库中。自底向上构建是指借助一定的技术手段从公开的数据中提取资源选择其中置信度较高的信息经人工审核后加入知识库中。
在知识图谱发展初期多数企业和机构采用自顶向下的方式构建知识图谱目前大多企业采用自底向上的方式构建知识图谱。
知识图谱的架构如图3-6所示。 ▲图3-6 知识图谱的架构
知识源包括结构化数据、非结构化数据和半结构化数据。 信息抽取就是从各种类型的数据源中提取实体、属性以及实体间的相互关系在此基础上形成本体的知识表述。知识图谱的构建过程中存在大量的非结构化或者是半结构化数据这些数据在知识图谱的构建过程中需要通过自然语言处理的方法进行信息抽取。从这些数据中我们可以提取出实体、关系和属性。 知识融合主要工作是把结构化的数据以及信息抽取提炼到的实体信息甚至第三方知识库进行实体对齐和实体消歧。这一阶段的输出应该是从各个数据源融合的各种本体信息。 知识加工知识加工阶段如图3-6所示其中知识推理中重要的工作就是知识图谱的补全。常用的知识图谱的补全方法包括基于本体推理的补全方法、相关的推理机制实现以及基于图结构和关系路径特征的补全方法。
