/Jperchat_to_perchat

NTT様の日本語版ペルソナチャットから本家ペルソナチャットのフォーマットに変換するプログラム

Primary LanguageJupyter Notebook

Create Persona dialogue dataset from Reddit dataset

NTT様の公開してくださったJPersonaChatのフォーマットをPersonaChatのフォーマットに変換するプログラムです．

1.データ準備

実行前に以下のリンクからNTT様の公開しているJPersonaChatのデータをダウンロードし，dataディレクトリ内に配置してください． Link: https://www.dropbox.com/s/sda9wzexh7ntlij/japanese_persona_chat.xlsx?dl=0

2.How to Run

実行ファイルはjpyter notebookと.pyスクリプトの2種類ありますが，両方とも動作は同じです． 好きなほうを使ってください．

dataにダウンロードしたファイルがあれば以下のコマンドで変換したファイル(j_perchat.txt)が出力されます．

python ./converter.py

1.Data Preparation

Before running, you should download JPersonaChat datasets. Put the downloaded data in the ./data/ Link: https://www.dropbox.com/s/sda9wzexh7ntlij/japanese_persona_chat.xlsx?dl=0

2.How to Run

There are python scripts(.py scripts) and jupyter notebook(.ipynb). Both scripts process is same. You can use which you like.

python ./converter.py