知识图谱介绍
知识图谱的架构
知识图谱的逻辑结构分为两个层次：数据层和模式层。
在知识图谱的数据层，知识以事实（fact）为单位存储在图数据库。如果以『实体-关系-实体』或者『实体-属性-值』三元组作为事实的基本表达方式，则存储在图数据库中的所有数据将构成庞大的实体关系网络，形成知识的图谱。
模式层在数据层之上，是知识图谱的核心，在模式层存储的是经过提炼的知识，通常采用本体库来管理知识图谱的模式层，借助本体库对公理、规则和约束条件的支持能力来规范实体、关系以及实体的类型和属性等对象之间的联系。本体库在知识图谱中的地位相当于知识库的模具，拥有本体库的知识库冗余知识较少。
Semantic Computation 语义计算（知识图谱构建技术）
预处理
检测和清除表面错误，包括不可读代码(Unreadable codes)、错误的截断(Erroneous Truncation)、由于挖掘错误引起的错误属性、双字节-单字节替换(Double byte - single byte replacement)、英语字符处理(English character processing)等。
实体构建——实体和属性的抽取
实体抽取
命名实体挖掘 Mining Named Entities
传统命名实体(NE)类别：人(Person)、位置(Location)、组织(Organization)
更多对web应用程序有用的新类别：Movie、TV series、music、book、software、computer game
更精细的分类：组织 -> {学校,医院,政府,公司...}
Computer game -> {net game,webpage game,...}
其中web中命名实体的特点包括：新的命名实体迅速崛起，包括软件、游戏和小说；命名实体在网络上的名字是非正式的(informal)
1.从查询日志(Query Logs)中学习命名实体(NEs)
查询日志中包含了大量的命名实体，大约70%的搜索查询包含了NEs。如下图2007年Pasca论文所示，命名实体能够根据上下文特征(context features)识别。如上下文词“电影、在线观看、影评”等等，识别“中国合伙人”。
从查询中学习种子的上下文特征，然后使用已经学到的上下文特征来提取C类的新种子实体，使用扩展种子集去扩展上下文特征....
利用查询日志该方法的优点是：它能够覆盖最新出现的命名实体；它的缺点是：旧的或者不受欢迎的命名实体可能会错过。
2.从普通文本中学习命名实体(Learning NEs from Plain Texts)
文字包装器(Text Wrappers)被广泛使用于从纯文本中提取(Extracting)命名实体。例如包装器“电影《[X]》”，“影片[X]，导演”，其中[X]表示电影名字
3.使用URL文本混合模式(Url-text Hybrid Patterns)学习命名实体
是否有可能只从网页标题(webpage titles)中提取命名实体呢？确实。99%的命名实体都能够在一些网页标题中发现。
Url文本混合模型应该考虑URL约束，简单的文本模式可信的URL链接是足够的，复杂的文本模式需要低质量的URL。 可以参考 《Bootstrapping Large-scale Named Entities using URL-Text Hybrid Patterns》
4.算法自动从非结构化或半结构化数据抽取实体，2012年Ling等人归纳出112种实体类别，并基于条件随机场CRF进行实体边界识别，最后采用自适应感知机算法实现了对实体的自动分类，取得了不错的效果。
抽取关系
从相关的语料中提取出实体之间的关联关系，通过关联关系将实体（概念）联系起来。
早期的关系抽取研究方法主要是通过人工构造语法和语义规则。随后，出现了大量基于特征向量或者核函数的有监督学习方法，关系抽取的准确性也不断提高。但以上研究成果的共同特点是需要预先定义实体关系类型，如雇佣关系、整体部分关系以及位置关系等。
与之相对的，Banko等人提出了面向开放域的信息抽取方法框架（open information extraction，OpenIE），并发布了基于自监督（self-supervised）学习方式的开放信息抽取原型系统（TextRunner），该系统采用少量人工标记数据作为训练集，据此得到一个实体关系分类模型，再依据该模型对开放数据进行分类，依据分类结果训练朴素贝叶斯模型来识别『实体-关系-实体』三元组，经过大规模真实数据测试，取得了显著优于同时期其他方法的结果。
TextRunner系统中错误的部分主要是一些无意义或者不和逻辑的实体关系三元组，据此引入语法限制条件和字典约束，采用先识别关系指示词，然后再对实体进行识别的策略，有效提高了关系识别准确率。
3。属性抽取
属性抽取的目标是从不同信息源中采集特定实体的属性信息。例如针对某个公众人物，可以从网络公开信息中得到其昵称、生日、国籍、教育背景等信息。属性抽取技术能够从多种数据来源中汇集这些信息，实现对实体属性的完整勾画。一般从百科类网站的半结构化数据，通过自动抽取生成训练语料，用于训练实体属性标注模型，然后将其应用于对非结构化数据的实体属性抽取；
属性值对挖掘 AVP Mining
AVP英文全称是Attribute Values Pairs。那么，哪里会见到这种AVP数据呢？
在线百科：三大百科 Baidu Baike \ Wikipedia \ Hudong Baike
垂直网站(Vertical websites)：IMDB，douban for videos
普通文档网页：从结构化、半结构化(semistructured)和非结构化文本中爬取AVP，例如挖掘垂直网站AVP数据
可能会遇到两个问题？
第一个是如何找到相关的垂直网站，如果是寻找流行的网站是容易的，如音乐、电影、小说；但是如果是寻找长尾域(long tail domains)的网站是困难的，如化妆品、杂志。第二个问题是面对众多的数据怎样生成提取模式。
同时，人工模式可以保证很高的准确性，但是工具能够帮助我们更加便利的编辑模式。最后AVP知识需要日常中积累和更新，包括不同时间类别的更新、新网站的加入、无序或网站崩溃需要自动检测或手工处理。
对属性进行一些转换
1.Value Type Recognition 值类型识别
属性对应的值类型。其中值类型包括：Number(数字)、Data/Time(日期/时间)、Entity(实体)，Enumeration(枚举)、Text(default，默认文本)。
2.Value Normalization 值正常化
Splitting(分词）
Conversion(转换），E.g., 2.26m -> 226cm
3.Attribute Normalization 属性正常化
Domain-specific problem(特定领域问题)
某些属性被视为同义词只在特定的领域甚至是两个特定的知识源中。
例如“大小(size)”和“屏幕(screen)”在一些手机网站上表示同义词，但不是所有的开放域解释都相同，可以使用分类模型(Classification model)来识别候选同义属性。其中特征包括属性浅层相似特征、相似属性值特征、相似值类型(Value-type)特征和实体值特征。最后评选者从所有候选中选择正确的相似属性对。
Knowledge Fusion 知识融合
1.融合从不同数据来源的知识，关键问题——实体消歧（Entity disambiguation）。
其解决方法是计算两个相同名称实体之间的相似性。一些基本属性可以用来确定实体的身份，如“works of a writer”。其他一些属性只能用来作相似性的特征，如“nationality of a person”(国籍)。随着统计机器学习方法被引入该领域，McCarthy等人将C4.5决策树算法也被应用于解决实体消歧问题。
2.Entity Classification 实体分类
为什么需要分类呢？因为一些实体会丢失类别信息；同时不失所有从源数据中挖掘的实体都有类别（category）。解决方法是：通过监督模型训练已知类别的实体和它们的属性-值对；使用结构化数据(AVPs)和非结构化数据(上下文文本)来精确地分类特征。
下面是一些在知识应用层的语义计算模块/方法。主要是具体的应用：
实体消歧用于推理（Entity disambiguation for reasoning）
相关实体消歧（Related entity disambiguation）
搜索需求识别(Search requirement recognition)
需要识别用户搜索的“李娜”是网球运动员、歌手、舞蹈家还是其他。
其核心问题就是AVP相似计算，包括为不同的属性定义不同的权重、有用属性和无用属性等。
异构数据整合（实体对齐、属性值决策、关系建立）
知识推理
知识推理是指从知识库中已有的实体关系数据出发，进行计算机推理，建立实体间的新关联，从而拓展和丰富知识网络。知识推理是知识图谱构建的重要手段和关键环节，通过知识推理，能够从现有知识中发现新的知识。
知识推理的对象也并不局限于实体间的关系，也可以是实体的属性值，本体的概念层次关系等。
知识的推理方法可以分为2大类：基于逻辑的推理和基于图的推理。
基于逻辑的推理主要包括一阶逻辑谓词、描述逻辑以及基于规则的推理。
一阶谓词逻辑建立在命题的基础上，在一阶谓词逻辑中，命题被分解为个体（individuals）和谓词（predication）2部分。个体是指可独立存在的客体，可以是一个具体的事物，也可以是一个抽象的概念。谓词是用来刻画个体性质及事物关系的词。比如（A，friend，B）就是表达个体A和B关系的谓词。
对于复杂的实体关系，可以采用描述逻辑进行推理。描述逻辑（description logic）是一种基于对象的知识表示的形式化工具，是一阶谓词逻辑的子集，它是本体语言推理的重要设计基础。
基于规则的推理可以利用专门的规则语言，如SWRL（semantic Web rule language）。
基于图的推理方法主要基于神经网络模型或Path Ranking算法。Path Ranking算法的基本思想是将知识图谱视为图（以实体为节点，以关系或属性为边），从源节点开始，在图上执行随机游走，如果能够通过一个路径到达目标节点，则推测源和目的节点可能存在关系。