sing1ee/dict_build

位置成词概率 & 语料

rchen1207 opened this issue · 2 comments

请问位置成词概率是指BMES吗?是否有比对没有BMES的结果呢?
另外
请问在拉勾JD这种垂直领域的语料效果如何?
谢谢

@rchen1207

拉勾JD语料抽取结果

工作	641962	11.645208082774683	4.083574124851783	0.11247281022865935
开发	348538	14.031184262140844	4.37645153459778	0.18409496065046307
相关	300517	10.477758266443889	5.038915743418073	0.1758213331033888
合作	159688	10.397674632948268	3.9963476653135794	0.19498851077798446
专业	158831	10.712527000439824	3.152041650598071	0.2640750670241287
测试	158179	13.65362883340751	4.464104436545589	0.18344308560677328
互联网	148818	16.106992250086762	3.9556191209604314	0.407386403912951
活动	131099	10.391243589427443	3.9155422678129406	0.20137250696976194
维护	120316	12.681677655209691	3.2400117935377266	0.1960306406685237
问题	112116	9.159871336778389	2.314215135279833	0.20283174185051037
优化	109563	11.324180546618742	4.331660381832997	0.2456782591010779
营销	105845	14.36850646150769	5.097001962525406	0.14961371773129828
平台	100783	9.002815015607053	4.443804901153697	0.2877423571272965
培训	93204	9.041659151637216	3.8898570467819824	0.13345998575160295
资源	90339	8.651051691178928	4.063430372719874	0.14695817490494298
相关专业	87545	8.988684686772165	2.4897196388075598	0.2905199904149232
网站	87182	8.92184093707449	5.465843476701055	0.21266038137095059
独立	86111	9.074141462752506	3.1456261690072957	0.19050261614079594
一定	83798	8.335390354693924	2.107303660112154	0.26157299167679793
流程	83165	9.321928094887362	2.5509378861028074	0.2063141084699957
网络	82742	9.087462841250339	4.681429111504988	0.21266038137095059
优秀	74600	9.370687406807217	2.0756995478573135	0.2899855507391353
信息	71009	9.820178962415188	4.2602697278449755	0.18863532864443658
媒体	67533	10.556506054671928	4.615376861300178	0.17976710334788937
编写	64337	7.960001932068081	3.482400585501417	0.265625
思维	62351	8.741466986401146	2.4320664807326646	0.15396736072031514
规划	59733	7.851749041416057	2.936854928368285	0.14166201896263245
移动	59671	10.10459875356437	3.4421932833155653	0.20137250696976194
渠道	59072	9.513727595952437	4.597891463808354	0.23578595317725753
关系	58483	8.348728154231077	2.4369558675502927	0.3170022612253688
积极	57295	9.044394119358454	2.763249521041074	0.1746848469256496
实施	56645	7.781359713524661	4.371966846513886	0.15944453739334113
福利	55732	8.475733430966399	2.4036919305145426	0.20908952728378172
其他	55665	8.434628227636725	2.9614863103296867	0.15943975441289332
功能	55087	7.787902559391432	4.1663586610392755	0.18097560975609756
代码	52431	7.88874324889826	3.876917512626917	0.2135697048449972
微信	49143	8.945443836377912	3.6868130380800643	0.18215857916308253
企业	48799	9.422064766172813	5.568662443510237	0.2905199904149232
提升	48446	8.233619676759702	3.7390647282620666	0.29750778816199375
质量	47918	10.861862340059153	3.391825261582227	0.10921827734437191
人员	47109	7.774787059601174	5.249783964892326	0.13589632038101343
数据库	45445	8.290018846932618	4.123423571610193	0.2640569395017794
商务	44047	8.189824558880018	3.44858516585648	0.12901085044961344
主动	42628	13.815583433851023	2.5049637884195137	0.1968791796700847
创意	41768	14.396470993910388	4.115068825929573	0.30544056771141337
工具	40227	9.927777962082342	2.208874047820781	0.11247281022865935
等相关	39230	11.919608238603255	3.0330398736413557	0.1758213331033888
提出	38741	10.179909090014934	4.46446156782086	0.13053040103492886
各类	38309	8.344295907915816	5.136417986953123	0.3969948596283116
操作	37061	9.06339508128851	4.676836974292029	0.23452975920036348
收集	36600	8.800899899920305	2.797691452951563	0.11388512456999896
过程	36534	8.214319120800766	2.5633950372758565	0.2063141084699957
数据分析	36081	8.442943495848729	3.5589033442862585	0.2640569395017794