创意二维码制作网站,网站设计作业平台,东莞网站营销推广公司,wordpress建网站主页ANSJ是由孙健#xff08;ansjsun#xff09;开源的一个中文分词器#xff0c;为ICTLAS的Java版本#xff0c;也采用了Bigram HMM分词模型#xff1a;在Bigram分词的基础上#xff0c;识别未登录词#xff0c;以提高分词准确度。
虽然基本分词原理与ICTLAS的一样#…ANSJ是由孙健ansjsun开源的一个中文分词器为ICTLAS的Java版本也采用了Bigram HMM分词模型在Bigram分词的基础上识别未登录词以提高分词准确度。
虽然基本分词原理与ICTLAS的一样但是Ansj做了一些工程上的优化比如用DAT高效地实现检索词典、邻接表实现分词DAG、支持自定义词典与自定义消歧义规则等。
1.项目地址
项目的github地址https://github.com/NLPchina/ansj_seg 项目的文档地址http://nlpchina.github.io/ansj_seg/
2.导入
2.1依赖
Ansj最新依赖包是5.1.6版本的2018年更新的最近已经不更新了 dependency groupIdorg.ansj/groupId artifactIdansj_seg/artifactId version5.1.6/version /dependency 2.2 配置文件 在ansj中配置文件名为library.properties这是一个不可更改的约定。下面让我们看看都有哪些选项在这个配置文件中 字段名默认值说明isNameRecognitiontrue是否开启人名识别isNumRecognitiontrue是否开启数字识别isQuantifierRecognitiontrue是否数字和量词合并isRealNamefalse是否取得真实的词,默认情况会取得标注化后的isSkipUserDefinefalse是否用户辞典不加载相同的词diclibrary/default.dic自定义词典路径dic_[key]你的词典路径针对不同语料调用不同的自定义词典ambiguitylibrary/ambiguity.dic歧义词典路径ambiguity_[key]library/ambiguity.dic歧义词典路径crfnullcrf词典路径,不设置为默认crf_[key]你的模型路径针对不同语料调用不同的分词模型synonyms默认的同义词典针对不同语料调用不同的分词模型synonyms_[key]你的同义词典路径针对不同语料调用不同的分词模型
默认的配置文件格式 #path of userLibrary this is default library
diclibrary/default.dic#redress dic file path
ambiguityLibrarylibrary/ambiguity.dic#set real name
isRealNametrue#isNameRecognition default true
isNameRecognitiontrue#isNumRecognition default true
isNumRecognitiontrue#digital quantifier merge default true
isQuantifierRecognitiontrue3.分词实现
3.1 ToAnalysis 精准分词 精准分词是Ansj分词的推荐款 它在易用性、稳定性、准确性以及分词效率上都取得了一个不错的平衡。如果你初次尝试Ansj想开箱即用那么就用这个分词方式是不会错的。 3.2 DicAnalysis 用户自定义词典优先策略的分词 用户自定义词典优先策略的分词。如果你的用户自定义词典足够好或者你的需求对用户自定义词典的要求比较高那么强烈建议你使用DicAnalysis的分词方式。 可以说在很多方面Dic优于ToAnalysis的结果。 3.3 NlpAnalysis 带有新词发现功能的分词 nlp分词是总能给你惊喜的一种分词方式。 它可以识别出未登录词但是它也有它的缺点速度比较慢、稳定性差。ps我这里说的慢仅仅是和自己的其他方式比较应该是40w字每秒的速度吧。 个人觉得nlp的适用方式语法实体名抽取、未登录词整理、对文本进行发现分析等工作 3.4 IndexAnalysis 面向索引的分词 面向索引的分词。顾名思义就是适合在lucene等文本检索中用到的分词。主要考虑以下两点 召回率 召回率是对分词结果尽可能的涵盖。比如对“上海虹桥机场南路” 召回结果是[上海/ns, 上海虹桥机场/nt, 虹桥/ns, 虹桥机场/nz, 机场/n, 南路/nr]准确率 其实这和召回本身是具有一定矛盾性的Ansj的强大之处是很巧妙的避开了这两个的冲突 。比如我们常见的歧义句“旅游和服务”-对于一般保证召回 。大家会给出的结果是“旅游 和服 服务” 对于ansj不存在跨term的分词。意思就是。召回的词只是针对精准分词之后的结果的一个细分。比较好的解决了这个问题 3.5 BaseAnalysis 最小颗粒度的分词 基本就是保证了最基本的分词。词语颗粒度最非常小的所涉及到的词大约是10万左右。 基本分词速度非常快。在macAir上能到每秒300w字每秒。同时准确率也很高但是对于新词他的功能十分有限。 3.6 功能统计
名称用户自定义词典数字识别人名识别机构名识别新词发现BaseAnalysisXXXXXToAnalysis√√√XXDicAnalysis√√√XXIndexAnalysis√√√XXNlpAnalysis√√√√√ 4、使用实例
4.1 分词demo
package com.*;import org.ansj.splitWord.analysis.*;
import org.junit.Test;import java.util.*;/*** author * date 2023-07-26 15:29*/
public class SegTest {Testpublic void test(){String str ANSJ是由孙健ansjsun开源的一个中文分词器为ICTLAS的Java版本也采用了Bigram HMM分词模型在Bigram分词的基础上识别未登录词以提高分词准确度。 ;System.out.println(BaseAnalysis.parse(str));System.out.println(ToAnalysis.parse(str));System.out.println(DicAnalysis.parse(str));System.out.println(IndexAnalysis.parse(str));System.out.println(NlpAnalysis.parse(str));}
}分词结果
BaseAnalysis ANSJ/en,是/v,由/p,孙健/nr,/w,ansjsun/en,/w,开源/v,的/u,一个/m,中文/nz,分词/v,器/ng,/w,为/p,ICTLAS/en,的/u,Java/en,版本/n,/w,也/d,采用/v,了/u,Bigram/en, ,/w, ,HMM/en,分词/v,模型/n,/w,在/p,Bigram/en,分词/v,的/u,基础/n,上/f,/w,识别/v,未/d,登录/vn,词/n,/w,以/p,提高/v,分词/v,准确度/n,。/w ToAnalysisANSJ/en,是/v,由/p,孙健/nr,/w,ansjsun/en,/w,开源/v,的/u,一个/m,中文/nz,分词器/n,/w,为/p,ICTLAS/en,的/u,Java/en,版本/n,/w,也/d,采用/v,了/u,Bigram/en, ,/w, ,HMM/en,分词/v,模型/n,/w,在/p,Bigram/en,分词/v,的/u,基础/n,上/f,/w,识别/v,未/d,登录/vn,词/n,/w,以/p,提高/v,分词/v,准确度/n,。/w DicAnalysis ANSJ/en,是/vshi,由/p,孙健/nr,/w,ansjsun/en,/w,开源/v,的/ude1,一个/mq,中文/nz,分词器/n,/w,为/p,ICTLAS/en,的/ude1,Java/en,版本/n,/w,也/d,采用/v,了/ule,Bigram/en, ,/w, ,HMM/en,分词/v,模型/n,/w,在/p,Bigram/en,分词/v,的/ude1,基础/n,上/f,/w,识别/vn,未/d,登录/v,词/n,/w,以/p,提高/v,分词/v,准确度/n,。/w IndexAnalysis ANSJ/en,是/v,由/p,孙健/nr,孙/ng,健/ag,/w,ansjsun/en,/w,开源/v,开/v,源/ng,的/u,一个/m,一/m,个中/r,个/q,中文/nz,中/f,文/ng,分词器/n,分词/v,分/qt,词/n,器/ng,/w,为/p,ICTLAS/en,的/u,Java/en,版本/n,版/n,本/rz,/w,也/d,采用/v,采/v,用/p,了/u,Bigram/en, ,/w, ,HMM/en,分词/v,分/qt,词/n,模型/n,模/ng,型/k,/w,在/p,Bigram/en,分词/v,分/qt,词/n,的/u,基础/n,基/ng,础/ng,上/f,/w,识别/v,识/v,别/d,未/d,登录/vn,登/v,录/ng,词/n,/w,以/p,提高/v,提/v,高分/n,高/a,分词/v,分/qt,词/n,准确度/n,准确/a,准/a,确/d,度/qv,。/w NlpAnalysis ANSJ/en,是/v,由/p,孙健/nr,/w,ansjsun/en,/w,开源/v,的/u,一个/m,中文/nz,分词器/n,/w,为/p,ICTLAS/en,的/u,Java/en,版本/n,/w,也/d,采用/v,了/u,Bigram/en, ,/w, ,HMM/en,分词/v,模型/n,/w,在/p,Bigram/en,分词/v,的/u,基础/n,上/f,/w,识别/v,未/d,登录/vn,词/n,/w,以/p,提高/v,分词/v,准确度/n,。/w 4.2 使用demo
以ToAnalysis为例其它方法大同小异 public static void main(String[] args) {String str 欢迎使用ansj_seg,(ansj中文分词)在这里如果你遇到什么问题都可以联系我! ;Result result ToAnalysis.parse(str); //分词结果的一个封装主要是一个ListTerm的termsSystem.out.println(result.getTerms());ListTerm terms result.getTerms(); //拿到termsSystem.out.println(terms.size());for(int i0; iterms.size(); i) {String word terms.get(i).getName(); //拿到词String natureStr terms.get(i).getNatureStr(); //拿到词性System.out.println(word : natureStr);}}基本使用方法分为几下几步 1、使用ToAnalysis.parse(str)将字符串进行分词会返回一个Result分词的结果就在它里面。 2、然后继续result.getTerms()获得分词结果的内容因为是返回的多个分词所以最终获得的是一个List。 3、然后遍历它term.getName()获得的是词term.getNatureStr()拿到的是这个词的词性。
4.3 个性化定制分词词典
4.3.1 自定义常用词典
创建一个名为userLibrary.dic的文件内容如下 5G n 1000 哈利·波特 n 1000 第一个是词语第二个是词性第三个是权重。词性这里大家不用关注编号以此类推即可不要重复各个以缩进\t分隔。
加载自定义词典 // 配置自定义词典的位置。注意是绝对路径
MyStaticValue.ENV.put(DicLibrary.DEFAULT,System.getProperty(user.dir)/library/dictionary/userLibrary.dic);4.3.2 自定义停用词典
创建一个名为stopLibrary.dic的文件内容如下 啊 阿 哎 唉 俺 按 吧 直接写停用词每一行写一个。
加载自定义词库 //去停用词
ListString stopWords getStopWords(System.getProperty(user.dir) /library/stopLibrary.dic);
StopRecognition filter new StopRecognition();
filter.insertStopWords(stopWords); String str 欢迎使用ansj_seg,(ansj中文分词)在这里如果你遇到什么问题都可以联系我! ; //分词结果的一个封装recognition增加分词过滤 Result result ToAnalysis.parse(str).recognition(filter); System.out.println(result.getTerms()); 4.3.3 自主添加个别词 DicLibrary.insert(DicLibrary.DEFAULT, 抠图) DicLibrary.insert(DicLibrary.DEFAULT,抠图,n,1000); 4.3.4 歧义纠正词典
歧义纠正是Ansj分词的最后最后的大招了杀伤力巨大谨慎使用极可能造成其他的错误。
很多时候分词发生歧异不是很好调整用户需要更强的规则来约束所以ansj中增加了歧异消除的一个强规则方式。
创建一个名为library/ambiguity.dic 的文件内容格式如下 三个 m 和尚 n 动漫 n 游戏 n 李民 nr 工作 vn 第一列是识别串第二列是分词结果奇数行是词偶数行是词性。这里例子告诉计算机如果你发现 李民工作--- 李/民工/作 纠正为 ---李民/工作/ 这种类型 ps这个是优先分词运行的.所以添加时候要谨慎。 在配置文件中设置ambiguity.dic 的路径 ambiguityLibrarylibrary/ambiguity.dic 也可以用 MyStaticValue.ambiguityLibrary library/ambiguity.dic 来设定也可动态添加歧义纠正词典 System.out.println(ToAnalysis.parse(据说川府办发的发文很厉害));//歧义纠正Value value new Value(川府办, 川府办, n);Library.insertWord(AmbiguityLibrary.get(), value);System.out.println(ToAnalysis.parse(据说川府办发的发文很厉害));;运行结果 据说/v,川/j,府/ng,办发/j,的/u,发文/v,很/d,厉害/a 据说/v,川府办/n,发/v,的/u,发文/v,很/d,厉害/a
