/sample-tokenization

Sample Japanese tokenization with some tokenizer in Go

Primary LanguageGoMIT LicenseMIT

sample-tokenization

Sample Japanese tokenization with some tokenizer in Go

テストプロジェクト

トークナイザーをいくつか試すためのプロジェクトです。

ライセンス

MIT License. See LISENSE file