Hugging Face's logo

Roflmax
/
my-finetuned-bge-m3-checkpoint-1688

Sentence Similarity
sentence-transformers
Safetensors
xlm-roberta
feature-extraction
Generated from Trainer
dataset_size:54093
loss:MultipleNegativesRankingLoss
Eval Results
text-embeddings-inference
Inference Endpoints
Model card Files Community

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: BAAI/bge-m3
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 1024 dimensions
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Какие мероприятия включает в себя переселение граждан из аварийного жилищного фонда, финансируемое некоммерческой организацией?',
    '48.9) расходы осуществляющей функции по предоставлению финансовой поддержки на проведение капитального ремонта многоквартирных домов, переселение граждан из аварийного жилищного фонда и модернизацию систем коммунальной инфраструктуры в соответствии с Федеральным законом "О Фонде содействия реформированию жилищно-коммунального хозяйства" некоммерческой организации, понесенные в связи с размещением (инвестированием) временно свободных денежных средств;',
    '4. Для получения свидетельства налогоплательщик представляет в налоговый орган заявление о выдаче свидетельства, а также следующие документы:',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Metric Value
cosine_accuracy@1 0.5841
cosine_accuracy@3 0.8035
cosine_accuracy@5 0.8663
cosine_accuracy@10 0.9278
cosine_precision@1 0.5841
cosine_precision@3 0.2678
cosine_precision@5 0.1733
cosine_precision@10 0.0928
cosine_recall@1 0.5841
cosine_recall@3 0.8035
cosine_recall@5 0.8663
cosine_recall@10 0.9278
cosine_ndcg@10 0.7597
cosine_mrr@10 0.7053
cosine_map@100 0.7088

Training Details

Training Dataset

Unnamed Dataset

  • Size: 54,093 training samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 1000 samples:
    anchor positive
    type string string
    details
    • min: 8 tokens
    • mean: 22.39 tokens
    • max: 48 tokens
    • min: 15 tokens
    • mean: 75.44 tokens
    • max: 327 tokens
  • Samples:
    anchor positive
    Какие напитки включены в категорию сусла и сброженных материалов? 2) алкогольная продукция, указанная в подпункте 3 пункта 1 настоящей статьи, виноградное, пивное, плодовое, медовое и иное сусло, плодовые сброженные материалы, квасы с содержанием этилового спирта до 1,2 процента включительно;
    Какие решения может принять налоговый орган в случае неисполнения обязанности по представлению налоговой декларации (расчета)? 3.3. Налоговый орган вправе направить налогоплательщику (налоговому агенту, плательщику страховых взносов) уведомление о неисполнении обязанности по представлению налоговой декларации (расчета) не позднее чем в течение 14 дней до дня принятия решения, предусмотренного подпунктом 1 пункта 3 или пунктом 3.2 настоящей статьи.
    Какие виды деятельности (поставка товаров, выполнение работ, оказание услуг) могут быть включены в контракт на безвозмездную помощь? контракта (копии контракта) налогоплательщика с донором (уполномоченной донором организацией) безвозмездной помощи (содействия) или с получателем безвозмездной помощи (содействия) на поставку товаров (выполнение работ, оказание услуг) в рамках оказания безвозмездной помощи (содействия) Российской Федерации. В случае, если получателем безвозмездной помощи (содействия) является федеральный орган исполнительной власти Российской Федерации, в налоговый орган представляется контракт (копия контракта) с уполномоченной этим федеральным органом исполнительной власти Российской Федерации организацией;
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Evaluation Dataset

Unnamed Dataset

  • Size: 6,011 evaluation samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 1000 samples:
    anchor positive
    type string string
    details
    • min: 10 tokens
    • mean: 22.53 tokens
    • max: 49 tokens
    • min: 19 tokens
    • mean: 80.52 tokens
    • max: 512 tokens
  • Samples:
    anchor positive
    Какие данные о работниках организации подлежат обязательному размещению в сети Интернет? 9) о среднесписочной численности работников организации за календарный год, предшествующий году размещения указанных сведений в информационно-телекоммуникационной сети "Интернет" в соответствии с пунктом 1.1 настоящей статьи;
    Какие правила применяются для определения доходов профессиональных участников рынка ценных бумаг? НК РФ Статья 298. Особенности определения доходов профессиональных участников рынка ценных бумаг
    Каковы последствия утраты статуса налогоплательщика - участника специального инвестиционного контракта для лица? 3. Лицо утрачивает статус налогоплательщика - участника специального инвестиционного контракта при наступлении одного из следующих событий:
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: epoch
  • per_device_train_batch_size: 32
  • per_device_eval_batch_size: 32
  • gradient_accumulation_steps: 4
  • learning_rate: 2e-05
  • weight_decay: 0.01
  • num_train_epochs: 4
  • lr_scheduler_type: cosine
  • warmup_steps: 750
  • bf16: True
  • tf32: True
  • dataloader_num_workers: 4
  • load_best_model_at_end: True
  • optim: adamw_torch_fused
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: epoch
  • prediction_loss_only: True
  • per_device_train_batch_size: 32
  • per_device_eval_batch_size: 32
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 4
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.01
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 4
  • max_steps: -1
  • lr_scheduler_type: cosine
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 750
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: True
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 4
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch_fused
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional

Training Logs

Click to expand
Epoch Step Training Loss Validation Loss Legal_IR_Evaluation_Bench_cosine_ndcg@10
0.0237 10 1.2212 - -
0.0473 20 1.0333 - -
0.0710 30 0.9717 - -
0.0946 40 0.9264 - -
0.1183 50 0.6879 - -
0.1419 60 0.5763 - -
0.1656 70 0.4832 - -
0.1892 80 0.4577 - -
0.2129 90 0.4125 - -
0.2365 100 0.3348 - -
0.2602 110 0.3028 - -
0.2839 120 0.2918 - -
0.3075 130 0.239 - -
0.3312 140 0.2261 - -
0.3548 150 0.2474 - -
0.3785 160 0.2645 - -
0.4021 170 0.2138 - -
0.4258 180 0.2238 - -
0.4494 190 0.2127 - -
0.4731 200 0.2507 - -
0.4967 210 0.2519 - -
0.5204 220 0.1555 - -
0.5441 230 0.2304 - -
0.5677 240 0.1705 - -
0.5914 250 0.1939 - -
0.6150 260 0.1686 - -
0.6387 270 0.1392 - -
0.6623 280 0.1593 - -
0.6860 290 0.1368 - -
0.7096 300 0.1881 - -
0.7333 310 0.1737 - -
0.7569 320 0.1836 - -
0.7806 330 0.1428 - -
0.8043 340 0.1828 - -
0.8279 350 0.1852 - -
0.8516 360 0.1993 - -
0.8752 370 0.1552 - -
0.8989 380 0.1713 - -
0.9225 390 0.1304 - -
0.9462 400 0.1469 - -
0.9698 410 0.1611 - -
0.9935 420 0.1399 - -
0.9982 422 - 0.0256 0.7320
1.0189 430 0.1254 - -
1.0426 440 0.1419 - -
1.0662 450 0.1254 - -
1.0899 460 0.1337 - -
1.1135 470 0.1183 - -
1.1372 480 0.1341 - -
1.1609 490 0.1049 - -
1.1845 500 0.1637 - -
1.2082 510 0.1398 - -
1.2318 520 0.1327 - -
1.2555 530 0.1 - -
1.2791 540 0.1452 - -
1.3028 550 0.1271 - -
1.3264 560 0.1113 - -
1.3501 570 0.1288 - -
1.3737 580 0.1132 - -
1.3974 590 0.1259 - -
1.4211 600 0.1188 - -
1.4447 610 0.1109 - -
1.4684 620 0.1037 - -
1.4920 630 0.0966 - -
1.5157 640 0.1445 - -
1.5393 650 0.1426 - -
1.5630 660 0.113 - -
1.5866 670 0.1339 - -
1.6103 680 0.0892 - -
1.6339 690 0.1399 - -
1.6576 700 0.1216 - -
1.6813 710 0.1752 - -
1.7049 720 0.1787 - -
1.7286 730 0.1337 - -
1.7522 740 0.1226 - -
1.7759 750 0.1334 - -
1.7995 760 0.0943 - -
1.8232 770 0.1297 - -
1.8468 780 0.1069 - -
1.8705 790 0.1053 - -
1.8941 800 0.109 - -
1.9178 810 0.0878 - -
1.9415 820 0.1511 - -
1.9651 830 0.1002 - -
1.9888 840 0.1342 - -
1.9982 844 - 0.0213 0.7405
2.0142 850 0.1017 - -
2.0378 860 0.065 - -
2.0615 870 0.0938 - -
2.0852 880 0.1159 - -
2.1088 890 0.0949 - -
2.1325 900 0.1022 - -
2.1561 910 0.1038 - -
2.1798 920 0.1001 - -
2.2034 930 0.0994 - -
2.2271 940 0.0668 - -
2.2507 950 0.1064 - -
2.2744 960 0.0853 - -
2.2980 970 0.0945 - -
2.3217 980 0.1004 - -
2.3454 990 0.0793 - -
2.3690 1000 0.0705 - -
2.3927 1010 0.093 - -
2.4163 1020 0.047 - -
2.4400 1030 0.0775 - -
2.4636 1040 0.0954 - -
2.4873 1050 0.063 - -
2.5109 1060 0.0611 - -
2.5346 1070 0.0734 - -
2.5582 1080 0.0656 - -
2.5819 1090 0.0798 - -
2.6056 1100 0.0728 - -
2.6292 1110 0.0801 - -
2.6529 1120 0.0965 - -
2.6765 1130 0.0921 - -
2.7002 1140 0.0825 - -
2.7238 1150 0.0775 - -
2.7475 1160 0.0687 - -
2.7711 1170 0.1049 - -
2.7948 1180 0.0557 - -
2.8185 1190 0.0912 - -
2.8421 1200 0.0786 - -
2.8658 1210 0.0625 - -
2.8894 1220 0.0888 - -
2.9131 1230 0.0642 - -
2.9367 1240 0.0682 - -
2.9604 1250 0.0619 - -
2.9840 1260 0.0709 - -
2.9982 1266 - 0.0196 0.7506
3.0095 1270 0.0617 - -
3.0331 1280 0.057 - -
3.0568 1290 0.0505 - -
3.0804 1300 0.0701 - -
3.1041 1310 0.056 - -
3.1277 1320 0.0827 - -
3.1514 1330 0.0746 - -
3.1750 1340 0.0767 - -
3.1987 1350 0.0663 - -
3.2224 1360 0.0582 - -
3.2460 1370 0.0495 - -
3.2697 1380 0.0769 - -
3.2933 1390 0.0676 - -
3.3170 1400 0.0832 - -
3.3406 1410 0.0609 - -
3.3643 1420 0.0511 - -
3.3879 1430 0.0508 - -
3.4116 1440 0.085 - -
3.4352 1450 0.0492 - -
3.4589 1460 0.0694 - -
3.4826 1470 0.0612 - -
3.5062 1480 0.0433 - -
3.5299 1490 0.0477 - -
3.5535 1500 0.0457 - -
3.5772 1510 0.0595 - -
3.6008 1520 0.0683 - -
3.6245 1530 0.0642 - -
3.6481 1540 0.0528 - -
3.6718 1550 0.0637 - -
3.6954 1560 0.0707 - -
3.7191 1570 0.0667 - -
3.7428 1580 0.0784 - -
3.7664 1590 0.0472 - -
3.7901 1600 0.0576 - -
3.8137 1610 0.0512 - -
3.8374 1620 0.0744 - -
3.8610 1630 0.0478 - -
3.8847 1640 0.0561 - -
3.9083 1650 0.0686 - -
3.9320 1660 0.0527 - -
3.9556 1670 0.0793 - -
3.9793 1680 0.0462 - -
3.9982 1688 - 0.0184 0.7597

Framework Versions

  • Python: 3.10.12
  • Sentence Transformers: 3.4.1
  • Transformers: 4.48.3
  • PyTorch: 2.1.0+cu118
  • Accelerate: 1.3.0
  • Datasets: 3.2.0
  • Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
Downloads last month
4
Safetensors
Model size
568M params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model is not currently available via any of the supported Inference Providers.

Model tree for Roflmax/my-finetuned-bge-m3-checkpoint-1688

Base model

BAAI/bge-m3
Finetuned
(201)
this model

Evaluation results

View on Papers With Code