pyltp实现NER以及实体统计pythonheheyangxyy的博客-

pyltp实现NER以及实体统计

人工智能火热，NLP技术也蓬勃发展，今天主要讲述NLP中的一项基础任务NER的实现。

首先介绍一下NER（命名实体识别，Named-entity recognition）是NLP的一项子任务，旨在实现从文本中抽取实体，实体一般包括：人名，地名，机构名，数量表达式，时间表达式等。在特定的领域，实体也会有所差异，比如：生物医学，研究实体就可以是药名，病名。

目标：实现基础的NER需要得到实体种类下的实体。
借助工具：哈工大LTP

哈工大LTP

怎么去使用LTP？
python3.6+pyltp+ltp_data_v3.4.0
（1）pyltp的使用
a.配置好相应的python环境
b.安装pytlp(命令行:pip install pyltp)，安装超时可以镜像下载或者下载好wheel文件本地安装
c.下载模型文件，我使用的版本为ltp_data_v3.4.0，下载地址：模型下载地址
（2）实现NER
准备工作做好后，我们就可以选取测试文本，实现NER，代码如下：

#write by heheyang # -*- coding: utf-8 -*- import os from pyltp import *  LTP_DATA='ltpdata path'#LTPdata的根目录 # 分词 def wordscut(text):     segmentor = Segmentor() # 初始化     wordscut_model_path = os.path.join(LTP_DATA, 'cws.model')     segmentor.load(wordscut_model_path) # 加载模型     words = segmentor.segment(text) # 分词     words_list = list(words) # 转换成list     segmentor.release() # 释放模型 return words_list      #词性标注 def post_tag(words):     postag = Postagger()# 初始化     pos_tag_model_path = os.path.join(LTP_DATA, 'pos.model')     postag.load(pos_tag_model_path) # 加载模型     postags = postag.postag(words) # 词性标注     postag.release() # 释放模型 return postags  # 命名实体识别 def ner(words, tags):     ner_temp = NamedEntityRecognizer()# 初始化     ner_model_path = os.path.join(LTP_DATA, 'ner.model')     ner_temp.load(ner_model_path) # 加载模型     netags = ner_temp.recognize(words, tags) # 命名实体识别 for word, ntag in zip(words, netags):         nertemp = word + ',' + ntag         print(nertemp, end=" | ") #结构性输出     ner_temp.release() # 释放模型 return netags  f=open('textpath','r') wordstemp=f.read() words = wordscut(wordstemp) #分词 tags = post_tag(words) #词性标注 netags = ner(words, tags) #命名实体识别 

程序执行结果如下：

我们可以看到程序已经对各个词汇进行了标注，有关LTP的命名实体识别的标注含义：Nh-人名，Ni-机构名，Ns-地名

如果想要获得实体列表，就可以从对NER的结果进行程序统计筛选，代码如下：

#write by heheyang #实体统计 import re  def ner_count(wordtags):     ne_list=[]     wordtemp=""     word_tags=wordtags.split("|") for wordtag in  word_tags:         ne=[]         word_tag=wordtag.split(",") if len(word_tag)==2 and word_tag[1]!="O": if re.findall("^(B|I)+",word_tag[1]):                 wordtemp+=word_tag[0] #同一实体的组合 elif re.findall("^E+",word_tag[1]):                 wordtemp+=word_tag[0]                 tag=re.findall(r"-(.+)",word_tag[1]) #提取实体类型                 ne.append(wordtemp)                 ne.append(tag[0])                 wordtemp="" elif re.findall("^S+",word_tag[1]):                 tag=re.findall(r"-(.+)",word_tag[1])                 ne.append(word_tag[0])                 ne.append(tag[0]) if len(ne)!=0:                 ne_list.append(ne)#实体词汇汇总 return ne_list print(ner_count(ner(words, tags)))#打印出实体列表 

结果如图：

以上完成了pyltp实现NER以及实体统计，最终得到文本的实体列表。
这也算是小白入门，自己整理较久的一篇博客，起初设想的是把几个NLP工具放在一块写的，但是由于时间等原因，最后决定还是分开来写。
欢迎大家的批评指正，多多交流，多多学习。