/shijin

A small language model trained on famous literary works in Japanese.

Primary LanguagePython

shijin 詩人

詩人のための小規模言語モデル

irasutoya poet

A small language model for writing nice Japanese.

Issueを英語で書く必要はありません。

What is it?

なんだこれ？

  • 青空文庫をベースにした小規模言語モデルです。
  • このQiita記事でデータセットの詳細が書いてあるので、ご参考まで。

How big?

  • 21.693217 M parameters at the moment.

大きいの？

  • 現時点で21,693,217個のパラメーターです。ちっちゃなモデルではありますが、侮らないでね。もしかして次の芥川賞を取るかもしれんぞ！

Examples?

  • See \example_scripts for example scripts of this model.
  • See \example_text for example text generated from this model.

どうやって走らせるの？

  • このモデルの例題スクリプトは\example_scriptsにあります。
  • このモデルから生成された例文は\example_textにあります。

To-Do:

  • As I am but a puny university student, I do not have access to big GPU.
  • As such, let's see if we can use transfer learning from a LLM for English!
  • Languages, even though they may look and sound different, all share some inner structure.
  • As such, perhaps we can get good results from transfer learning?

まだやっていないこと：

  • 一文なしの大学生の私には、数多くの高性能なGPUは周りに転がっていません。
  • そのため、英語のLLMからの転移学習を使用できるかどうかを見てみましょう！
  • 言語は見た目や音が異なるかもしれませんが、ある程度の内部構造を共有しているはずです。
  • なので、転移学習から良い結果を得ることができるかもしれません。

Thanks!

  • This code is heavily inspired from karpathy's YouTube series. The guy is a legend. And handsome!

ありがとう！

  • このコードは、karpathy氏のYouTubeシリーズから大いにインスピレーションを受けました。神。