这篇文章给大家介绍基于CRF的命名实体识别系统原理及实例剖析是怎样的，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。经常听到一些朋友说用CRF（conditional random field algorithm）做命名实体识别，但绝大多数都是调用CRF++包，然后自己只是构造一些特征，然后就是几个命令行执行下而已，最近又有朋友经常问CRF是如何命名实体识别的，今天我就结合实例把CRF预测的过程来进行下解释，有不对的地方欢迎拍砖，算是抛砖引玉吧。本专题是建立在CRF模型已经训练的基础上的，如果有需要下个专题可以介绍下训练的原理及过程。通常CRF的命名实体序列标注任务中标签有B、E、M、S四种，本专题模板采用的是 ： U0:%x[-1,0] U1:%x[0,0] U2:%x[1,0] U3:%x[-1,0]%x[0,0] U4:%x[0,0]%x[1,0] U5:%x[-1,0]%x[1,0]使用案例是“维斯塔斯风车着火了”
首先对“维”进行特征函数计算:可以看出当前token是“维”，通过模板特征函数得到该矩阵，然后对该矩阵的各个列进行求和结果如下： 其他字符的特征计算过程都是一样的，在此就忽略过程，矩阵DotMatrix结果如下（其中由于“维”字是开始字符所以不可能是E和M标注，顾认为设置为最小权重）：根据CRF计算过程，以上矩阵为点函数得分矩阵，我们还需要一个训练时得到的标注转移矩阵TransMatrix即：通过DotMatrix和TransMatrix的结合可以推导出前后字符之间在各个标注之前的最大转移概率，公式如下：其中score值的计算既是字符之间转移概率的计算过程，from矩阵记录的则是当前节点标注最大概率时前一个字符的标注，可以认为是最优路径的记录矩阵，而net矩阵则是通过转移计算过程得到的每个字符在BEMS标注的概率值,如下：from矩阵结果为：我们此时是需要回溯出一条最优 香港云主机路径的，定位“了”字符，作为结尾字符，只可能是E或者S，我们看net[火][E]和net[火][S]的值，可以看出S标注结果更大，因此“了”标注为S，看from矩阵，from[了][S]=1，及“火”标注为E，以此类推得到结果如下：关于基于CRF的命名实体识别系统原理及实例剖析是怎样的就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。
如何实现Singleton模式，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。设计一个类，我们只能生成该类的一个实例私有构造方法静态方法获取实例如果需要考虑内存，使用到时才创建实例对…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
