SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

  1. Fine-tuning a Sentence Transformer with contrastive learning.
  2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Sources

Model Labels

Label Examples
5.0
  • '유키두 물놀이 고래 잠수함 샤워기 출산/육아 > 목욕용품 > 유아목욕장난감'
  • '베베라팡 헤엄치는 바다친구들 아기 욕조 물놀이 목욕놀이장난감 거북이 블루 출산/육아 > 목욕용품 > 유아목욕장난감'
  • 'KC인증 목욕놀이 장난감 (고래,거북이,오리,상어) 유아 아기 물놀이 욕조 태엽 장난감 단품구성_큰고래(핑크) 출산/육아 > 목욕용품 > 유아목욕장난감'
7.0
  • '릴린져샴푸캡 아기 목욕모자 샤워캡 블루 출산/육아 > 목욕용품 > 유아샴푸캡'
  • '돗투돗 말랑 샴푸캡 유아 목욕용품 해어캡 신생아 샴푸모자 돗바니 출산/육아 > 목욕용품 > 유아샴푸캡'
  • '[귀애우비] 육아꿀템 아기목욕 귀 방수 스티커 출산선물 수영장 편한착용 안아픔 샴푸캡 소형(세트) - 2Box (100매) 출산/육아 > 목욕용품 > 유아샴푸캡'
1.0
  • '고리에거는 아이장난감정리망 그물주머니 흰색 출산/육아 > 목욕용품 > 욕실정리망/정리함'
  • '욕실그물망 정리 함 가방 수납 장난감 화이트 DC002879 출산/육아 > 목욕용품 > 욕실정리망/정리함'
  • '리빙 세탁바구니 1P 29x41x36cm 옷빨래 다용도수납 화이트 출산/육아 > 목욕용품 > 욕실정리망/정리함'
9.0
  • '아이너바움 비건인증 홈 케어 5종 (세탁+섬유+주방+토이+욕조) 세탁세제(코튼블랑)_섬유유연제(스윗선데이)_주방세제 (시트러스/액상형) 출산/육아 > 목욕용품 > 유아욕조'
  • '스토케 플렉시바스 아기욕조 라지 화이트 출산/육아 > 목욕용품 > 유아욕조'
  • '오케이베이비 오플라 아기욕조 히포 샴푸캡 세트 동의합니다_모카그레이_민트그린 출산/육아 > 목욕용품 > 유아욕조'
6.0
  • '어린이집수건 먼지없는 소창 고리수건 3겹(30X30) 5장세트 유치원 이름자수 핸드타올 소창 고리수건 3겹(30X30)-수건아래-5장_다크블루_그린 출산/육아 > 목욕용품 > 유아목욕타월'
  • '베이비꼬 아기목욕타월 옐로우 출산/육아 > 목욕용품 > 유아목욕타월'
  • '송월 베이비 어린이집 고리 수건 선물 이름자수 준비물 손수건 베이비시리즈_퍼플(열기구) 출산/육아 > 목욕용품 > 유아목욕타월'
4.0
  • '샤워 타올 스틱 손잡이 볼 욕실용품 볼브러쉬 등 바디 블루 출산/육아 > 목욕용품 > 유아목욕장갑/스펀지'
  • '비비또 실리콘 아기목욕장갑 스펀지 신생아 유아 샤워볼 아기목욕장갑 2P(10% 할인)_헤븐리핑크_발틱블루 출산/육아 > 목욕용품 > 유아목욕장갑/스펀지'
  • '뉴 샤워기 거치대 각도조절 샤워기홀더 편리한 욕실용품 생활용품 샤워기걸이 당일출고 데일리 01.180캐릭터샤워홀더-버드 출산/육아 > 목욕용품 > 유아목욕장갑/스펀지'
8.0
  • '유아 어린이 손씻기 세면대 수도꼭지 연장 물받이 회색 출산/육아 > 목욕용품 > 유아세면대/수도꼭지'
  • '모던 수도꼭지 연장탭 베이지 출산/육아 > 목욕용품 > 유아세면대/수도꼭지'
  • '버드시아 유아 세면대 (장난감놀이/신생아욕조/목욕놀이) 연그레이 출산/육아 > 목욕용품 > 유아세면대/수도꼭지'
2.0
  • '유아 비치가운 어린이 목욕가운 아기 타올 베이비 오리 출산/육아 > 목욕용품 > 유아목욕가운'
  • '목욕 잠옷 가운 샤워 키구 동물 어린이 유니콘 플란넬 겨울 루미 유아 드레싱 타월 후드 11=Pinkstarunicorn_5 출산/육아 > 목욕용품 > 유아목욕가운'
  • '스프링스트라이프조끼 오렌지_120 출산/육아 > 목욕용품 > 유아목욕가운'
3.0
  • '부품 : 아기비데 - 3in1 받침대 업그레이드 신생아 유아 출산선물 국내생산 색상추가 컴포트 3세대 받침대-엘레강스 아이보리 - 그린 출산/육아 > 목욕용품 > 유아목욕의자'
  • '목욕의자 미용실 머리 샴푸 대형 실내 교육 업소 의자 D 출산/육아 > 목욕용품 > 유아목욕의자'
  • '웰빙 은나노 목욕 의자 대 핑크 출산/육아 > 목욕용품 > 유아목욕의자'
0.0
  • '나무 욕조 히노끼 이동식 홈 스타 사우나 목욕 삼나무 장90 x58 78+커버(친환경 왁스) 출산/육아 > 목욕용품 > 기타목욕용품'
  • '두근두근 점프대 목욕놀이 세트 3pcs 출산/육아 > 목욕용품 > 기타목욕용품'
  • '창신 베어트리 욕실 용품 양치컵 욕실의자 칫솔꽂이 4.창신 베어트리 욕실의자(대) 출산/육아 > 목욕용품 > 기타목욕용품'
10.0
  • '밀폐형 전해 셀, 3 전극 시스템 반응기 매칭 165900 50ml 165900 50ml 출산/육아 > 목욕용품 > 유아욕탕온도계'
  • '직수입 디지털 온도계 습도계 탕온계 모음 스마일(심플) 온습도계 핑크 02.스마일(패턴)온습도계_화이트 출산/육아 > 목욕용품 > 유아욕탕온도계'
  • '(건전지 포함)디지털 대화면 온습도계 아날로그 욕실 육추기 병아리 오리 탕온도 병아리 계란 아날로그온습도계 출산/육아 > 목욕용품 > 유아욕탕온도계'

Evaluation

Metrics

Label Accuracy
all 1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_bc4")
# Run inference
preds = model("욕실 타일 바닥 미끄럼방지 스티커 12P 세트  출산/육아 > 목욕용품 > 기타목욕용품")

Training Details

Training Set Metrics

Training set Min Median Max
Word count 7 14.2403 27
Label Training Sample Count
0.0 70
1.0 70
2.0 70
3.0 70
4.0 70
5.0 70
6.0 70
7.0 70
8.0 70
9.0 70
10.0 70

Training Hyperparameters

  • batch_size: (256, 256)
  • num_epochs: (30, 30)
  • max_steps: -1
  • sampling_strategy: oversampling
  • num_iterations: 50
  • body_learning_rate: (2e-05, 1e-05)
  • head_learning_rate: 0.01
  • loss: CosineSimilarityLoss
  • distance_metric: cosine_distance
  • margin: 0.25
  • end_to_end: False
  • use_amp: False
  • warmup_proportion: 0.1
  • l2_weight: 0.01
  • seed: 42
  • eval_max_steps: -1
  • load_best_model_at_end: False

Training Results

Epoch Step Training Loss Validation Loss
0.0066 1 0.4891 -
0.3311 50 0.5008 -
0.6623 100 0.4057 -
0.9934 150 0.3132 -
1.3245 200 0.176 -
1.6556 250 0.0868 -
1.9868 300 0.0349 -
2.3179 350 0.0133 -
2.6490 400 0.0018 -
2.9801 450 0.0006 -
3.3113 500 0.0004 -
3.6424 550 0.0005 -
3.9735 600 0.0003 -
4.3046 650 0.0002 -
4.6358 700 0.0002 -
4.9669 750 0.0002 -
5.2980 800 0.0001 -
5.6291 850 0.0001 -
5.9603 900 0.0001 -
6.2914 950 0.0001 -
6.6225 1000 0.0001 -
6.9536 1050 0.0001 -
7.2848 1100 0.0001 -
7.6159 1150 0.0001 -
7.9470 1200 0.0001 -
8.2781 1250 0.0001 -
8.6093 1300 0.0001 -
8.9404 1350 0.0001 -
9.2715 1400 0.0001 -
9.6026 1450 0.0 -
9.9338 1500 0.0001 -
10.2649 1550 0.0 -
10.5960 1600 0.0 -
10.9272 1650 0.0 -
11.2583 1700 0.0 -
11.5894 1750 0.0 -
11.9205 1800 0.0 -
12.2517 1850 0.0 -
12.5828 1900 0.0 -
12.9139 1950 0.0 -
13.2450 2000 0.0 -
13.5762 2050 0.0 -
13.9073 2100 0.0 -
14.2384 2150 0.0 -
14.5695 2200 0.0 -
14.9007 2250 0.0 -
15.2318 2300 0.0 -
15.5629 2350 0.0 -
15.8940 2400 0.0 -
16.2252 2450 0.0 -
16.5563 2500 0.0 -
16.8874 2550 0.0 -
17.2185 2600 0.0 -
17.5497 2650 0.0 -
17.8808 2700 0.0 -
18.2119 2750 0.0 -
18.5430 2800 0.0 -
18.8742 2850 0.0 -
19.2053 2900 0.0 -
19.5364 2950 0.0 -
19.8675 3000 0.0 -
20.1987 3050 0.0 -
20.5298 3100 0.0 -
20.8609 3150 0.0 -
21.1921 3200 0.0 -
21.5232 3250 0.0 -
21.8543 3300 0.0 -
22.1854 3350 0.0 -
22.5166 3400 0.0 -
22.8477 3450 0.0 -
23.1788 3500 0.0 -
23.5099 3550 0.0 -
23.8411 3600 0.0 -
24.1722 3650 0.0 -
24.5033 3700 0.0 -
24.8344 3750 0.0 -
25.1656 3800 0.0 -
25.4967 3850 0.0 -
25.8278 3900 0.0 -
26.1589 3950 0.0 -
26.4901 4000 0.0 -
26.8212 4050 0.0 -
27.1523 4100 0.0 -
27.4834 4150 0.0 -
27.8146 4200 0.0 -
28.1457 4250 0.0 -
28.4768 4300 0.0 -
28.8079 4350 0.0 -
29.1391 4400 0.0 -
29.4702 4450 0.0 -
29.8013 4500 0.0 -

Framework Versions

  • Python: 3.10.12
  • SetFit: 1.1.0
  • Sentence Transformers: 3.3.1
  • Transformers: 4.44.2
  • PyTorch: 2.2.0a0+81ea7a4
  • Datasets: 3.2.0
  • Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}
Downloads last month
633
Safetensors
Model size
111M params
Tensor type
F32
·
Inference Providers NEW
This model is not currently available via any of the supported Inference Providers.

Model tree for mini1013/master_cate_bc4

Base model

klue/roberta-base
Finetuned
(213)
this model

Evaluation results