Update README.md
Browse files
README.md
CHANGED
|
@@ -3,6 +3,6 @@ library_name: transformers
|
|
| 3 |
license: mit
|
| 4 |
---
|
| 5 |
|
| 6 |
-
wikipedia jp
|
| 7 |
|
| 8 |
|
|
|
|
| 3 |
license: mit
|
| 4 |
---
|
| 5 |
|
| 6 |
+
wikipedia jp~~, wikipedia en(サンプリング), cc-100(ja, サンプリング)~~(追記: 作成スクリプトを確認したところ、日本語wikipediaのみを利用していました)のデータを unidic で分割 + sentencepiece Unigram で学習した、XLM-Roberta 形式の日本語トークナイザ。
|
| 7 |
|
| 8 |
|