/Twitter_Image_Captioning

Primary LanguagePython

install

pip install -r requirements.txt

データ収集

twitterのデータ
  1. collect_twitter_data/data_info.pyに、収集したいアカウントを追加する
  2. 以下を実行
cd collect_twitter_data
python collect_data.py
cocodataset
chmod +x download.sh
./download.sh
STAIR-captions

https://github.com/STAIR-Lab-CIT/STAIR-captions.git からgit cloneして、tar.gzファイルを解凍 stair_captions_v1.2_train.jsonをdata以下にmv

MeCabのインストール

https://qiita.com/ragzboned/items/834c0bc3caaa494fc906

に従ってローカル環境にインストール

{local}/lib/mecab/dic/ipadic

をmecab_dict_pathの引数で与える

データの確認

python dataset.py

学習

語彙の辞書を作成
python3 build_vocab.py --use_twitter
リサイズ（いる？）
python3 resize.py
train
python3 train.py
further train with twitter corpus
python3 train.py --mode twitter --save_step 20 --batch_size 16 --do_further_train

検証

事前に、画像の重複をチェックする！！

cd collect_twitter_data
python check_duplicated_images.py

sample.pyの中でモデル、データセットを指定してから、

python3 sample.py