浅谈中文信息处理跨文本指代消解研究
纵贯线 公路
摘要:中文信息处理是nlp(自然语言处理)的一个组成部分,它是研究自然语言的学科,它和其他学科如计算机学,文学,理工学等有着一定的综合联系。中文跨文本指代消解是中文信息处理的核心技术,是提高信息抽取和信息检索正确率的基础,主要任务是解决重名消歧和多名聚合两大问题。该文从基本概念入手,描述在语言处理中典型的指代现象和指代消解所需的基本语言知识;同时简单介绍指代消解中商用的算法和技术。
关键词:中文信息处理技术;切词;指代消解;语料库创建
中图分类号:tp311 文献标识码:a 文章编号:安以轩身高1009-3044201315-3447-02
中文信息处理是利用计算机对存储在计算机内的中文的音、形、义等信息进行加工和处理。中文信息处理一般可以继续分为汉字信息处理和汉语信息处理,具体内容包括对字词句、段落的处理,加工步骤首先为为输入存储传输输出,其次是识别转换压缩大内英续集离不开天空的云—检索分析理解和生成等方面的处理技术。中文信息处理的应用主要是信息抽取和信息检索,在信息抽取和信息检索过程中,难免会遇到多个指代词指向同一个实体,或者多个实体同一个名称
的现象,如何解决这两大问题是当今研究的主要方向,单一文本指代消解技术目前已相对成熟,而跨文本指代消解技术更加复杂。下面先介绍相关基本概念。
1 相关基本技术
1 迷魂计中文信息处理技术在语言处理阶段分为基础技术和应用技术,基础技术涉及到词处理,句处理,篇章处理。应用技术主要应用在信息检索,信息抽取方面。统计方法阶段的技术主要有语料库的建立,统计模型建立,利用语料库训练模型参数,编写算法解决问题等技术。
2sunny王阳明) 指代分为两种情况,指代主要有回指和共指消解主要有两项任务,即:重名消歧和多名聚合。重名消歧义主要指同一个名称指代的物体不同,在信息检索中常出现,而多名聚合主要指多个名称指向同一个物体,一般应用在信息抽取中。指代主要有回指和共指,如:“小明放学了,妈妈去接他”,句中的“他”一般就是回指“小明”,再如:“中国和”就是共指。指代消解方法主要有一般有基于句法的方法和基于语料库的方法,基于语料库的指代消解方法是当今研究学者用到最多的方法。