---
library_name: transformers
tags: []
---

- vocab_size が 24576 サイズになるように作成した日本語 tokenizer
- 学習元は wikpedia (日本語のみ)
- unidic + sentencepiece(unigram) で学習