java中文分词之正向最大匹配法实例代码

java中文分词之正向最大匹配法实例代码

前言

基于词典的正向最大匹配算法（最长词优先匹配），算法会根据词典文件自动调整最大长度，分词的好坏完全取决于词典。

所谓词典正向最大匹配就是将一段字符串进行分隔，其中分隔 的长度有限制，然后将分隔的子字符串与字典中的词进行匹配，如果匹配成功则进行下一轮匹配，直到所有字符串处理完毕，否则将子字符串从末尾去除一个字，再进行匹配，如此反复。

算法流程图如下：

下面给大家主要讲一下中文分词里面算法的简单实现，废话不多说了，现在先上代码

示例代码

package com;

import java.util.ArrayList;

import java.util.List;

public class Segmentation1 {

private List dictionary = new ArrayList();

private String request = "北京大学生前来应聘";

public void setDictionary() {

dictionary.add("北京");

dictionary.add("北京大学");

dictionary.add("大学");

dictionary.add("大学生");

dictionary.add("生前");

dictionary.add("前来");

dictionary.add("应聘");

}

public String leftMax() {

String response = "";

String s = "";

for(int i=0; i

s += request.charAt(i);

if(isIn(s, dictionary) && aheadCount(s, dictionary)==1) {

response += (s + "/");

s = "";

} else if(aheadCount(s, dictionary) > 0) {

} else {

response += (s + "/");

s = "";

}

}

return response;

}

private boolean isIn(String s, List list) {

for(int i=0; i

if(s.equals(list.get(i))) return true;

}

return false;

}

private int aheadCount(String s, List list) {

int count = 0;

for(int i=0; i

if((s.length()<=list.get(i).length()) && (s.equals(list.get(i).substring(0, s.length())))) count ++;

}

return count;

}

public static void main(String[] args) {

Segmentation1 seg = new Segmentation1();

seg.setDictionary();

String response1 = seg.leftMax();

System.out.println(response1);

}

}

可以看到运行结果是：北京大学/生前/来/应聘/

算法的核心就是从前往后搜索，然后找到最长的字典分词。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我们的支持。

s += request.charAt(i);

if(isIn(s, dictionary) && aheadCount(s, dictionary)==1) {

response += (s + "/");

s = "";

} else if(aheadCount(s, dictionary) > 0) {

} else {

response += (s + "/");

s = "";

}

}

return response;

}

private boolean isIn(String s, List list) {

for(int i=0; i

if(s.equals(list.get(i))) return true;

}

return false;

}

private int aheadCount(String s, List list) {

int count = 0;

for(int i=0; i

if((s.length()<=list.get(i).length()) && (s.equals(list.get(i).substring(0, s.length())))) count ++;

}

return count;

}

public static void main(String[] args) {

Segmentation1 seg = new Segmentation1();

seg.setDictionary();

String response1 = seg.leftMax();

System.out.println(response1);

}

}

可以看到运行结果是：北京大学/生前/来/应聘/

算法的核心就是从前往后搜索，然后找到最长的字典分词。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我们的支持。

if(s.equals(list.get(i))) return true;

}

return false;

}

private int aheadCount(String s, List list) {

int count = 0;

for(int i=0; i

if((s.length()<=list.get(i).length()) && (s.equals(list.get(i).substring(0, s.length())))) count ++;

}

return count;

}

public static void main(String[] args) {

Segmentation1 seg = new Segmentation1();

seg.setDictionary();

String response1 = seg.leftMax();

System.out.println(response1);

}

}

可以看到运行结果是：北京大学/生前/来/应聘/

算法的核心就是从前往后搜索，然后找到最长的字典分词。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我们的支持。

if((s.length()<=list.get(i).length()) && (s.equals(list.get(i).substring(0, s.length())))) count ++;

}

return count;

}

public static void main(String[] args) {

Segmentation1 seg = new Segmentation1();

seg.setDictionary();

String response1 = seg.leftMax();

System.out.println(response1);

}

}

可以看到运行结果是：北京大学/生前/来/应聘/

算法的核心就是从前往后搜索，然后找到最长的字典分词。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我们的支持。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。