• 您的位置 首页 > 技术知识
  • 知识图谱入门 (一) 知识图谱与语义技术概览

  • 作者:  来源:本站  日期:2019-01-17 17:55:29
  •   知识图谱与语义技术概览。主要介绍知识表示、知识抽取、知识存储、知识融合、知识推理、知识众包、语义搜索、知识问答等内容。同时还包含一些典型的应用案例。若理解有偏差还请指正。

      在1960年,语义网络(Semantic Networks)作为知识表示的一种方法被提出,主要用于自言语言理解领域。它是一种用图来表示知识的结构化方式。在一个语义网络中,信息被表达为一组结点,结点通过一组带标记的有向直线彼此相连,用于表示结点间的关系。如下图所示。简而言之,语义网络可以比较容易地让我们理解语义和语义关系。其表达形式简单直白,符合自然。然而,由于缺少标准,其比较难应用于实践。

      1980s出现了本体论(Ontology),该本体是由哲学概念引入到人工智能领域的,用来刻画知识。在1989年Time Berners-Lee发明了万维网,实现了文本间的链接。

      1998年语义网(THe Semantic Web)被提出,它从超文本链接到语义链接。语义网是一个更官方的名称,也是该领域学者使用得最多的一个术语,同时,也用于指代其相关的技术标准。在万维网诞生之初,网络上的内容只是人类可读,而计算机无法理解和处理。比如,我们浏览一个网页,我们能够轻松理解网页上面的内容,而计算机只知道这是一个网页。网页里面有图片,有链接,但是计算机并不知道图片是关于什么的,也不清楚链接指向的页面和当前页面有何关系。语义网正是为了使得网络上的数据变得机器可读而提出的一个通用框架。“Semantic”就是用更丰富的方式来表达数据背后的含义,让机器能够理解数据。“Web”则是希望这些数据相互链接,组成一个庞大的信息网络,正如互联网中相互链接的网页,只不过基本单位变为粒度更小的数据,如下图:

      2006年Tim突出强调语义网的本质是要建立开放数据之间的链接,即链接数据(LInked Data)。2012年谷歌发布了其基于知识图谱的搜索引擎产品。可以看出,知识图谱的提出得益于Web的发展和数据层面的丰富,有着来源于知识表示(Knowledge Represention, KR)、自然语言处理(NLP)、Web、AI多个方面的基因。可用于搜索、问答、决策、AI推理等方面。

      前面说过,知识图谱综合了众多方面,其中从Web角度看KG,它像建立文本之间的超链接一样,建立数据之间的语义链接,并支持语义搜索。从NLP角度看,它主要在做怎么能够从文本中抽取语义和结构化的数据。从知识表示角度看是怎么利用计算机符号来表示和处理知识。从AI角度则是怎么利用知识库来辅助理解人类的语言。从数据库角度看就是用图的方式存储知识。因此要做好KG要综合利用好KR、NLP、Web、ML、DB等多方面的方法和技术。

      上图表示了知识图谱的技术体系,首先在最底层我们有大量的文本、结构化数据库、多媒体文件等数据来源。通过知识抽取、知识融合、知识众包等技术,获取我们需要的数据,而后通过知识表示和知识推理、知识链接等将知识规范有序的组织在一起并存储起来。最终用于知识问答、语义搜索、可视化等方面。

      知识表示研究怎么利用计算机符号来表示人脑中的知识,以及怎么通过符号之间的运算来模拟人脑的推理过程。

      上图给出了知识表示的演化过程,其中最主要根本的变化是从基于数理逻辑的知识表示过渡到基于向量空间学习的分布式知识表示。

      其中最底层的是URI/IRI是网络链接,其上是XML和RDF为资源表示框架。SPARQL是知识查询语言。被蓝色部分覆盖的是推理模块,它包含了如RDFS和OWL这样的支持推理的表示框架。在网上就是trust和interaction部分,暂时不需要了解(还不清楚是什么,只知道用不到。。。)。

      SPARQL是RDF的查询语言,它基于RDF数据模型,可以对不同的数据集撰写复杂的连接,由所有主流的图数据库支持。其操作如:

      其实看到 Embedding这个词我们就知道,它是一个向量嵌入。详细来说就是在保留语义的同时,将知识图谱中的实体和关系映射到连续的稠密的低维向量空间。

      知识抽取是一个结合NLP和KR的工作,它的目标是抽取KR用的三元组、多元关系、模态知识等。具体流程如下:

      文字表述为,首先从网络上获取大量的各种非结构化的文本数据,经过文本预处理后得到干净的文本数据。而后借助机器学习相关程序对文本进行分词、词性标注、词法解析、依存分析等工作,此时词法及句法层次的分析结束,接下来对该文本进行NER和实体链接工作,为关系抽取和时间抽取做准备,最终形成KR用的三元组、多元关系、模态知识等构成知识图谱。

      知识问答(Knowledge-Based Question Answering, KBQA)是基于知识库的问题回答,它以直接而准确的方式回答用户自然语言提问的自动问答系统,它将构成下一代搜索引擎的基本形态。如搜索姚明的身高,就可以给出226cm的回答。其实现流程为:

      简单而言,推理就是指基于已知事实推出未知的事实的计算过程,例如回答张三儿子的爸爸是谁?按照解决方法分类可分为:基于描述逻辑的推理、基于规则挖掘的推理、基于概率逻辑的推理、基于表示学习与神经网络的推理。按照推理类型分类可分为:缺省推理、连续变化推理、空间推理、因果关系推理等等。

      实体融合(Knowledge Fusion),也叫数据连接(Data Linking)等,目的是在不同的数据集中找出一个实体的描述记录,主要目的是对不同的数据源中的实体进行整合,形成更加全面的实体信息。典型的工具为Dedupe(一个基于python的工具包)和LIMES。

      允许各网站基于一定的方式如RDFa、JASON-LD等方式在网页和邮件等数据源中嵌入语义化数据,让个人和企业定制自己的知识图谱信息。

      一、   知识图谱(Knowledge Graph,KG)与语义技术概述 KG,2012谷歌提出,作用是能辅助搜索(从网页搜索到语义搜索,从文本链接到数据链接),辅助问答,辅助决策,辅助AI(常识推...来自:的博客

      干货 知识图谱的技术与应用李文哲 深度学习与NLP 今天作者 李文哲,人工智能、知识图谱领域专家、贪心学院院长导读:从一开始的Google搜索,到现在的聊天机器人、大数据风控、证券投资、智能医...来自:binbigdata的博客

      虚拟身份:微信号、QQ号等 后台知识图谱以属性图方式存储,利用图挖掘算法进行挖掘 基于机器学习算法的关联账户建模(多模型融合,关联预测) 智能问答-基本过程 ...来自:BUPT-WT的博客

      本文来自公众号PlantData知识图谱实战(ID:KGPlantData),内容整理自胡芳槐博士6月9日北理工知识图谱实战学习活动上分享的《知识图谱应用关键技术及行业应用》。 今天我要分享的主...来自:imgxr的博客

      知识图谱的定义与架构知识图谱的定义知识图谱是结构化的语义知识库,用于以符号形式描述物理世界中的概念及其相互关系。其基本组成单位是“实体-关系-实体”三元组。通过知识图谱,可以实现Web从网页链接向概念...来自:Eason的博客

      昨天在北理工参加了一场由 雪晴数据网和北京理工大学大数据创新学习中心联合举办的知识图谱分享活动,聆听了一下午报告,可谓是受益匪浅。一下午时间安排的非常饱满,总共三场报告。不得不说首都的学校就是厉害啊,...来自:shiter编写程序的艺术

      1、知识图谱综述与 2、知识图谱行业应用 3、知识图谱构建关键技术与经验 4、应用案例介绍 5、技能进阶建议   扫码添加小助手,备注:公开课,加入课程讨论群 参与公开课,向讲师提问,即有机会获得定制

      作者:王昊奋近两年来,随着Linking Open Data[1] 等项目的全面展开,语义Web数据源的数量激增,大量RDF数据被...来自:白乔专栏

      NLP分析技术大致分为三个层面:词法分析、句法分析和语义分析。来自:puqutogether

      如何从零开始搭建知识图谱? 知识图谱在互联网金融中的应用 知识图谱实体链接无监督学习框架 CoLink 美团大脑:知识图谱的建模方法及其应用 知识图谱驱动投资 基于知识图谱的问答系统浅析 ......来自:咻咻ing的专栏

      欢迎大家关注我的博客 ,所有文章都会第一时间发布在那里哦~ 本节对知识问答的概念做一个概述并介绍KBQA实现过程中存在的挑战,而后对知识问答主流方法做一...来自:pelhans的博客

      欢迎大家关注我的博客 ,所有文章都会第一时间发布在那里哦~ 知识存储,即获取到的三元组和schema如何存储在计算机中。本节从以Jena为例,对知识在数...来自:pelhans的博客

      进行统计自然语言处理系统梳理,学习资料《统计自然语言处理.宗成庆》。 一、概述          对于不同的语言单位,语言分析的任务各不相同:在词的层次上,语义分析的基本任务是进行词义消歧;在...来自:alihonglong的专栏

      作者:肖仰华,复旦大学计算机科学技术学院,副教授,博士生导师,上海市互联网大数据工程技术中心副主任。主要研究方向为大数据管理与挖掘、知识库等。 大数据时代的到来,为人工智能的飞速发展带来前所未有...来自:CSDN 人工智能

      KBQA的核心问题如下: 1.如何自动化构建知识图谱. 2.如果完成问句和sql查询的对应. 本文主要学习第二个问题: 知识图谱问答基于模板 小象学院王昊奋的基于模板的知识图谱问答 复旦博...来自:baidu_15113429的博客

      关系推理是我全新接触的东西,虽然大一暑假的时候,留校做比赛有了解过神经网络的相关算法, 看过十多篇国内的论文,但这一次跟着刘老师的团队进行的这份工作,才让我真正的感受到了科研的魅力。说起来,机器学习里...来自:木东的博客

      知识图谱以其强大的语义处理能力和开放组织能力,为互联网时代的知识化组织和智能应用奠定了基础,其应用趋势也从通用领域走向行业领域。许多行业为了应对大数据应用的不同挑战,借助知识图谱,实现不同的业务需求,...来自:产业智能官

      人工智能的符号方法的一本很好的参考书籍,语义web和知识图谱的语法和语义,是学习知识图谱的一本很好的入门书籍。

      知识图谱语义搜索知识图谱语义搜索知识图谱语义搜索知识图谱语义搜索知识图谱语义搜索知识图谱语义搜索知识图谱语义搜索

      知识图谱中推理技术进展及应用主要内容 知识图谱历史回顾 语义网络vs.知识图谱vs.本体 基于符号的推理方法 基于统计的推理方法 知识推理在问答和搜索中的应用 总结和展望知识图谱历史“the powe...

      我走小路的博客将Excel文件导入数据库(POI+Excel+MySQL+jsp页面导入)第一次优化

      学习,记录,总结 的专栏应用一个基于Python的开源人脸识别库,face_recognition

  • ad
  • 上一篇:科技苑养鸡视频 列表
    下一篇:《科技苑》 20110908 散养鸡的新农村