package com.yl.common.utils; import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStreamReader; import java.util.HashMap; import java.util.HashSet; import java.util.Iterator; import java.util.Map; import java.util.Set; import org.springframework.stereotype.Component; /** * 敏感字符过滤 * * @author huangzp * @date 2015-6-2 */ @Component public class SensitiveWordUtil { // 以DFA算法模型存储敏感词库 private static Map<String, Map<String, String>> sensitiveWordMap = null; private static final int MIN_MATCH_TYPE = 1; // 最小匹配规则 private static final int MAX_MATCH_TYPE = 2; // 最大匹配规则 // 当前使用的匹配规则 private static final int CURRENT_MATCH_TYPE = Integer.valueOf(SpringContextListener.getContextProValue("sensitive.word.match.type", "1")); // 词组结尾标识 1-是,0-否 private static final String ISEND_TRUE = "1"; private static final String ISEND_FALSE = "0"; static { try { // 将敏感词库加载为DFA模型 addSensitiveWordToDFAModel(); LogUtil.log.info("###### 敏感词库加载完毕 #########"); } catch (Exception e) { LogUtil.log.error(e.getMessage(), e); } } /** * 以DFA算法模型存储敏感词库 中 = { isEnd = 0 国 = { isEnd = 1 人 = {isEnd = 0 民 = {isEnd * = 1} } 男 = { isEnd = 0 人 = { isEnd = 1 } } } } 五 = { isEnd = 0 星 = { * isEnd = 0 红 = { isEnd = 0 旗 = { isEnd = 1 } } } } * * @throws Exception */ private static void addSensitiveWordToDFAModel() throws Exception { if (null == sensitiveWordMap || sensitiveWordMap.size() == 0) { // 读取敏感词库 Set<String> keyWordSet = readSensitiveWordFile(); sensitiveWordMap = new HashMap<String, Map<String, String>>(keyWordSet.size()); // 初始化敏感词容器,减少扩容操作 Map nowMap = null; Map<String, String> newWorMap = null; // 迭代keyWordSet Iterator<String> iterator = keyWordSet.iterator(); while (iterator.hasNext()) { String key = iterator.next(); // 关键字 nowMap = sensitiveWordMap; for (int i = 0; i < key.length(); i++) { char keyChar = key.charAt(i); // 转换成char型 Object wordMap = nowMap.get(keyChar); // 获取 if (null != wordMap) { // 如果存在该key,直接赋值 nowMap = (Map) wordMap; } else { // 不存在则,则构建一个map,同时将isEnd设置为0,因为他不是最后一个 newWorMap = new HashMap<String, String>(); newWorMap.put("isEnd", ISEND_FALSE); // 不是最后一个 nowMap.put(keyChar, newWorMap); nowMap = newWorMap; } if (i == key.length() - 1) { nowMap.put("isEnd", ISEND_TRUE); // 最后一个 } } } } } /** * 读取敏感词库文件中的内容 * * @throws Exception */ private static Set<String> readSensitiveWordFile() throws Exception { Set<String> set = null; if (null == sensitiveWordMap || sensitiveWordMap.size() == 0) { InputStream is = SensitiveWordUtil.class.getClassLoader().getResourceAsStream("sensitive_words.txt"); if (null != is && is.available() > 0) { BufferedReader br = null; try { br = new BufferedReader(new InputStreamReader(is, StrUtil.UTF8)); set = new HashSet<String>(); String txt = null; while (null != (txt = br.readLine())) { // 读取文件,将文件内容放入到set中 set.add(txt); } } catch (Exception e) { throw e; } finally { if (null != br) { br.close(); // 关闭文件流 } } } else { LogUtil.log.error("敏感词库文件不存在"); } } return set; } /** * 判断文字是否包含敏感字符 */ public static boolean isContaintSensitiveWord(String txt) { boolean flag = false; for (int i = 0; i < txt.length(); i++) { int matchFlag = checkSensitiveWord(txt, i); // 判断是否包含敏感字符 if (matchFlag > 0) { // 大于0存在,返回true flag = true; } } return flag; } /** * 获取文字中的敏感词 * * @param txt * @param matchType * @return */ public static Set<String> getSensitiveWord(String txt) { Set<String> sensitiveWordList = new HashSet<String>(); for (int i = 0; i < txt.length(); i++) { int length = checkSensitiveWord(txt, i); // 判断是否包含敏感字符 if (length > 0) { // 存在,加入list中 sensitiveWordList.add(txt.substring(i, i + length)); i = i + length - 1; // 减1的原因,是因为for会自增 } } return sensitiveWordList; } /** * 替换敏感字字符,默认为 "*" */ public static String replaceSensitiveWord(String txt) { return replaceSensitiveWord(txt, "*"); } /** * 替换敏感字字符 */ public static String replaceSensitiveWord(String txt, String replaceChar) { String resultTxt = txt; Set<String> set = getSensitiveWord(txt); // 获取所有的敏感词 Iterator<String> iterator = set.iterator(); String word = null; String replaceString = null; while (iterator.hasNext()) { word = iterator.next(); replaceString = getReplaceChars(replaceChar, word.length()); resultTxt = resultTxt.replace(word, replaceString); } return resultTxt; } /** * 获取替换字符串 */ private static String getReplaceChars(String replaceChar, int length) { String resultReplace = replaceChar; for (int i = 1; i < length; i++) { resultReplace += replaceChar; } return resultReplace; } /** * 检查文字中是否包含敏感字符 * * @return,如果存在,则返回敏感词字符的长度,不存在返回0 */ public static int checkSensitiveWord(String txt, int beginIndex) { boolean flag = false; // 敏感词结束标识位:用于敏感词只有1位的情况 int matchFlag = 0; // 匹配标识数默认为0 char word = 0; Map nowMap = sensitiveWordMap; for (int i = beginIndex; i < txt.length(); i++) { word = txt.charAt(i); nowMap = (Map) nowMap.get(word); // 获取指定key if (null != nowMap) { // 存在,则判断是否为最后一个 matchFlag++; // 找到相应key,匹配标识+1 if (ISEND_TRUE.equals(nowMap.get("isEnd"))) { // 如果为最后一个匹配规则,结束循环,返回匹配标识数 flag = true; // 结束标志位为true if (MIN_MATCH_TYPE == CURRENT_MATCH_TYPE) { // 最小规则,直接返回,最大规则还需继续查找 break; } } } else { // 不存在,直接返回 break; } } if (matchFlag < 2 || !flag) { // 长度必须大于等于1,为词 matchFlag = 0; } return matchFlag; } }
相关推荐
在最近的开发中遇到了敏感词过滤,便去网上查阅了很多敏感词过滤的资料,在这里也和...下面这篇文章主要给大家介绍了关于java利用DFA算法实现敏感词过滤功能的相关资料,需要的朋友可以参考借鉴,下面来一起看看吧。
java。dfa算法实现敏感词过滤
高效敏感词过滤JAVA实现(DFA算法) 5000字2ms 节点 + 2进制标识(节省空间/提高查询效率) 附源码、注释,附带专业敏感词库(3396个敏感词) 看得上就拿去用,替换下一两处util方法、改个路径即可 不求什么,...
DFA全称为:Deterministic Finite Automaton,即确定有穷自动机。其特征为:有一个有限状态集合和一些从一个状态通向另一个状态的边,每条边上标记有一个符号,其中一个状态是初态,某些状态是终态。但不同于不确定的...
本科毕业设计基于dfa的敏感词过滤的小商城系统,并且使用了部分协同过滤中的推荐物品的算法,java自行实现了一部分。可联系QQ邮箱:1115479227@qq.com 请注明查看来源以及目的。
java使用dfa算法实现敏感词过滤,此算法效率最高,附带了一个敏感词库,轻松搞定论坛网站的敏感词过滤问题。
高效敏感词过滤JAVA实现(DFA算法) 5000字2ms 节点 + 2进制标识(节省空间/提高查询效率) 附源码、注释,附带专业敏感词库(3396个敏感词) 看得上就拿去用,替换下一两处util方法、改个路径即可 不求什么,...
使用DFA状态机实现敏感词过滤。 使用Java实现
DFA算法敏感庞屏蔽java实现DFA算法敏感庞屏蔽java实现
使用DFA算法实现的内容安全,反垃圾,智能鉴黄,敏感词过滤,不良信息检测,文本校验,敏感词检测,包括关键词提取,过滤html标签等。
本篇文章主要介绍了Java实现DFA算法对敏感词、广告词过滤功能示例,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
DFA算法实现的敏感词过滤工具,支持Skip参数控制敏感词干扰噪音,支持白名单跳过白名单词汇,支持在线添加和删除敏感词,管理敏感词库
导入后运行TestSensitiveWdFilter.java里面的TestFilter()方法即可见效果
sensitive-word 基于 DFA 算法实现的高性能敏感词工具。工具使用 java 实现,帮助我们解决常见的问题。6W+ 词库,且不断优化更新 基于 DFA 算法,性能较好 基于 fluent-api 实现,使用优雅简洁 支持敏感词的判断...
项目概述:基于Java语言开发的UGC内容过滤系统,运用DFA算法进行敏感词汇识别,并计划引入贝叶斯学习优化过滤效果。当前项目包含57个文件,其中Java源文件43个,以及其他配置和资源文件。项目正处于实验阶段,中文...
使用DFA算法实现的敏感词过滤。主要用于实现数据文本的内容安全,反垃圾,智能鉴黄,敏感词过滤,不良信息检测,携带文本的关键词获取。 过滤SQL脚本 过滤中文字符 过滤英文字符 过滤script标签 过滤html标签 过滤数字 ...
JAVA查重算法,包括HanLP 相似度比较、二叉树、DFA算法实现、敏感词处理工具、IKAnalyzer中文分词工具、分词进行敏感词过滤等查重算法,可以计算海明距离、余弦相似性、莱文斯坦距离、Jaccard 相似度、Sorensen Dice...
直接从Java版DFA算法实现,转移过来,并未作修改,词库直接从百度搜索的一个暂用。 可替换成其他词库,也可自行添加词条。 在项目init方法中调用ReadSwfDict加载词库 在检查点调用Match方验证,或调用Repl方法替换 ...
本源码是一个基于SpringBoot、Netty、Redis和...系统还采用DFA算法模型对敏感词进行过滤,确保内容的安全性。整个项目包含62个Java文件、12个PNG图像文件等,共92个文件,为用户提供了一个高效、安全的弹幕互动体验。
DFA算法实现的敏感词过滤工具,支持Skip参数控制敏感词干扰噪音,支持白名单跳过白名单词汇,支持在线添加和删除敏感词,管理敏感词库 解决类似24口交换机的问题 拆分为白名单和黑名单 如下所示: 黑名单(紧急)...