分词错误可以通过修改词库来解决吗
Opened this issue · 2 comments
**共产党的初心就是为人民谋幸福
这句话里面，为\人民 被错误的分为了 为人\民
我看了一下自定义词库，里面的记录如下
为人 14.60 4.96 v
人民 14.76 4.41 n
请问是否可以通过修改TF或IDF来解决这个问题？如果可行的话，需要如何调整？
谢谢
$ scws -c utf8 -d dict_jieba1.xdb -N -i "**共产党的初心就是为人民谋幸福"
**共产党 的 初心 就是 为 人民 谋 幸福
不過我也遇到分詞不對的情況：
官網 ( http://www.xunsearch.com/scws/demo/v48.php ) 上的分詞（段落取自雅虎香港）：
屯 門 黃 金 海岸 酒店 可以 講 是 香港 最美 的 臨 海 酒店 之一 ， 酒店 內 的 聆 渢 咖啡 廳 更是 chill 住 食 的 理想 地 點 ， 室 內 用餐 區 氣 氛 夠 悠 閒 ， 而且 亦 可以 選 擇 戶 外 用餐 ， 涼 住 海 風 食 buffet 就 更 relax 更 enjoy ！
我用jieba詞庫分析的結果：
$ scws -c utf8 -d dict_jieba1.xdb -N -i "屯門黃金海岸酒店...更relax更enjoy！"
屯門 黃金海岸 酒店 可以 講 是 香港 最美 的 臨海 酒店 之一 ， 酒店 內 的 聆 渢 咖啡廳 更是 chill 住 食 的 理想 地點 ， 室內 用餐 區 氣氛 夠 悠閒 ， 而且 亦 可以 選擇 室 外用 餐 ， 涼 住 海風 食 buffet 就 更 relax 更 enjoy ！
或是
屯門 黃金海岸 酒店 可以 講 是 香港 最美 的 臨海 酒店 之一 ， 酒店 內 的 聆 渢 咖啡廳 更是 chill 住 食 的 理想 地點 ， 室內 用餐 區 氣氛 夠 悠閒 ， 而且 亦 可以 選擇 戶 外用 餐 ， 涼 住 海風 食 buffet 就 更 relax 更 enjoy ！
不論"室外用餐"還是"戶外用餐"使用jieba詞庫都分錯了。