句子的相似度计算方法是什么?
bigrat911 opened this issue · 9 comments
bigrat911 commented
比如,句子的向量表示为每个词的vector取平均,然后cos
或者用softcos、WMD之类?
hailiang-wang commented
wuyang0329 commented
请问这个平滑策略的根据是什么呢,谢谢!
hailiang-wang commented
曲线形状
wuyang0329 commented
还有两个问题想问一下您,您的代码中_flat_sum_array这个函数是将句子中各个词的词向量叠加吗?
还有nearby_levenshtein_distance这个函数是将两个句子计算出来的编辑距离做了归一化吗?
fremcode commented
请教一下,是我用法不对还是词库的问题,"舒服"的近义词为什么是"难受"?
hailiang-wang commented
计算依据非监督的word2vec, 是利用前后词作为特征,所以也会出现反义词的时候。使用机器学习会有准确率的问题,并不保证100%都是准确的近义词。
…------------------
Cheers.
Hai Liang Wang, CEO, Chatopera
------------------ Original ------------------
From: "fremcode";
Date: 2019年1月15日(星期二) 上午10:46
To: "huyingxi/Synonyms";
Cc: "Samurais"; "State change";
Subject: Re: [huyingxi/Synonyms] 句子的相似度计算方法是什么? (#64)
请教一下,是我用法不对还是词库的问题,"舒服"的近义词为什么是"难受"?
—
You are receiving this because you modified the open/close state.
Reply to this email directly, view it on GitHub, or mute the thread.
AlexYoung757 commented
句子相似度比较每次得到的结果居然不一致。。。
第一次运行结果:
相似度:1.0
相似度:0.304
相似度:0.626
第二次运行结果:
相似度:1.0
相似度:0.326
相似度:0.635
第三次运行结果:
相似度:1.0
相似度:0.291
相似度:0.618
luluyouyue commented
为什么是词向量相似度和编辑距离相似度相乘而不是相加呢?
NancyGu commented
在这个问题下学到很多,我的理解是:
1- 用编辑距离和词向量相似度cos值相乘
cos起到方向上的修正作用
2-word2vec是根据上下文做推断,的确有无法区分同义词和反义词的问题
3-词权,我刚看到一种单个文档自适应设词权的方法
用的是词向量-文档中所有词池化后的向量 = 权重