sample-tokenization Sample Japanese tokenization with some tokenizer in Go テストプロジェクト トークナイザーをいくつか試すためのプロジェクトです。 ライセンス MIT License. See LISENSE file