facialexp_conv: A Jupyter Notebook repository from Ichinon

使い方

モデルファイルダウンロード・解凍

fasttext用モデル (DEEPCommunicationフォルダ用) https://drive.google.com/file/d/1_AUDhS2XWLI89KSumsBm0J32VPg-K3XS/view
StarGAN 256x256 (emo2Img256フォルダ用) https://1drv.ms/u/s!AvHteFLdGh-D5bpOWp-P5wNRVYxp4Q

以下は最終版では使用しない（はず）

テキスト→感情モデル (txt2emoフォルダ用) https://drive.google.com/open?id=1BbyqZJtgSLAiPFsSEEPC5SJHr36BMkRB
StarGAN 64x64 (emo2Imgフォルダ用) https://drive.google.com/open?id=1xCQE84BRIWyXZTk-YPVRznMWA1lA3ras

下記フォルダ構成に格納する。

facialexp_conv
├── inp
│   └── production ※フォルダを作成してください
├── models
│   ├── cv2
│   │   └── haarcascade_frontalface_default.xml ※OpenCV用モデルファイル
│   ├── emo2Img
│   │   ├── 200000-D.ckpt ※StarGAN 64x64用モデルファイル
│   │   └── 200000-G.ckpt ※StarGAN 64x64用モデルファイル
│   ├── emo2Img256 ※フォルダを作成してください
│   │   ├── 200000-D.ckpt ※StarGAN 256x256用モデルファイル
│   │   └── 200000-G.ckpt ※StarGAN 256x256用モデルファイル
│   └── txt2emo
│       ├── checkpoint-0.923.h5       ※テキスト→感情モデルファイル
│       ├── model_2018-08-28-15_00.h5 ※テキスト→感情モデルファイル
│       └── tokenizer_cnn_ja.pkl      ※テキスト→感情モデルファイル
├── res  ※フォルダを作成してください
└── src
    ├── DEEPCommunication
    │   └── fasttext_model_30.bin ※fasttext用モデルファイル
    ├── stg
    └── tec

必要なモジュールインストール (windows10を想定)

pip install fasttext_win
pip install janome
git clone https://github.com/masa-su/pixyz.git
pip install -e pixyz

実行

cd src/DEEPCommunication
python DEEPCommunication.py

メッセージに従い、画像ファイル、メッセージ、感情を選択してください。

FAQ

warning: CRLF will be replaced by LF in src/DEEPCommunication/DEEPCommunication.py. The file will have its original line endings in your working directory. と出て、勝手にファイルが書き換わったときはどうする？
- .gitattiruteのせいなので、vi .gitattributeなどで、* text=autoの前に#を付けてコメントアウトする
- その後、git checkout HEAD .gitattributeとしたら治ります
- ref : https://qiita.com/shunsuke_takahashi/items/d02f8085451b9aa4ffcf
CUIでmodelsをダウンロードするには？
- $ FILE_ID=1xCQE84BRIWyXZTk-YPVRznMWA1lA3ras
- $ FILE_NAME=models.zip
- $ curl -sc /tmp/cookie "https://drive.google.com/uc?export=download&id=${FILE_ID}" > /dev/null
- $ CODE="$(awk '/_warning_/ {print $NF}' /tmp/cookie)"
- $ curl -Lb /tmp/cookie "https://drive.google.com/uc?export=download&confirm=${CODE}&id=${FILE_ID}" -o ${FILE_NAME}
- とすると、1個目のmodelsはダウンロードできる
- もう一つは FILE_ID=1BbyqZJtgSLAiPFsSEEPC5SJHr36BMkRB として上のcurl以下を繰り返すとダウンロードできる
CUIでのzip解凍は？
- unar models.zipがおすすめ
- unarがない場合、sudo apt install unar
  - ilectの場合はsudoは付けない

Ichinon/facialexp_conv

使い方

FAQ