7c030de
98b95a2
7c030de
986d04c
7c030de
|
|
---
library_name: transformers
license: mit
---
wikipedia jp~~, wikipedia en(サンプリング), cc-100(ja, サンプリング)~~(追記: 作成スクリプトを確認したところ、日本語wikipediaのみを利用していました)のデータを unidic で分割 + sentencepiece Unigram で学習した、XLM-Roberta 形式の日本語トークナイザ。
|
