研究で作成したコードとなります。 実行に必要なデータが一般配布されていないため、就活の際のPRとして一部分を公開しております。
主に事前学習部分とファインチューニング部分の二つに分かれております。 事前学習はスクレイピングによってデータを収集し、前処理を行って学習を行います。 ファインチューニングは配布データを前処理し、データ拡張手法などでデータを拡張した後にファインチューニングを行っています。 また比較、分類等をしやすくするため、解答のみでなく機械学習の二値の確信度などもファイルに出力しています。
コード作成時に参考にしたページなどは、対象のクラスの上部にコメントで記載しております。