RCC 2020 年度プロジェクト活動
自然言語処理班
単語の分散表現をWord2Vecを用いて体験します。
学習済みモデルを使って,サンプルコードを動かしてみましょう。
- OS:問わない
- Python ~> 3.8
学習済みモデルをダウンロードし,展開する。
$ git clone <this repo>
$ cd <this repo>
$ pip install -U pip
$ pip install -r requirements.txt
$ python
>>> import gensim
>>> model = gensim.models.KeyedVectors.load_word2vec_format('jawiki.word_vectors.100d.txt')
>>>
>>> model['日本'] # ベクトルを取り出す
[ 5.30889511e-01 -2.57213235e-01 -1.59220584e-02 -4.43872392e-01
>>> model.most_similar('日本') # 類似した単語を取り出す
[('日本国内', 0.72707200050354), ('アジア', 0.7265250086784363), ('海外', 0.7229053974151611)
他にも,単語の加減算を行う方法もありますので,興味があれば調べてみてください。
例: 父親 - 男性 + 女性 = 母親