You need to agree to share your contact information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

Log in or Sign Up to review the conditions and access this model content.

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base on the rozetka_positive_pairs dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: intfloat/multilingual-e5-base
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 768 dimensions
  • Similarity Function: Dot Product
  • Training Dataset:
    • rozetka_positive_pairs

Model Sources

Full Model Architecture

RZTKSentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-9")
# Run inference
sentences = [
    'query: ручки для мебели',
    'passage: Мебельные ручки ДС',
    'passage: Ручка для мебели фигурная стекло 26х35 мм Прозрачный (S-009)',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

RZTKInformation Retrieval

  • Dataset: validation--matryoshka_dim-768--
  • Evaluated with sentence_transformers_training.evaluation.information_retrieval_evaluator.RZTKInformationRetrievalEvaluator
Metric Value
dot_accuracy_10 0.5139
dot_precision_10 0.1059
dot_recall_10 0.3502
dot_ndcg_10 0.2648
dot_mrr_10 0.2743
dot_map_60 0.2281

RZTKInformation Retrieval

  • Datasets: bm-full, core-uk-title, core-ru-title, core-uk-options, core-ru-options, options-uk-title, options-ru-title, options-uk-options, options-ru-options, rusisms-uk-title, rusisms-ru-title, rusisms-uk-options, rusisms-ru-options, rusisms_corrected-uk-title, rusisms_corrected-ru-title, rusisms_corrected-uk-options, rusisms_corrected-ru-options, core_typos-uk-title, core_typos-ru-title, core_typos-uk-options and core_typos-ru-options
  • Evaluated with sentence_transformers_training.evaluation.information_retrieval_evaluator.RZTKInformationRetrievalEvaluator
Metric bm-full core-uk-title core-ru-title core-uk-options core-ru-options options-uk-title options-ru-title options-uk-options options-ru-options rusisms-uk-title rusisms-ru-title rusisms-uk-options rusisms-ru-options rusisms_corrected-uk-title rusisms_corrected-ru-title rusisms_corrected-uk-options rusisms_corrected-ru-options core_typos-uk-title core_typos-ru-title core_typos-uk-options core_typos-ru-options
dot_accuracy_1 0.6593 0.8018 0.8005 0.7152 0.7231 0.8301 0.8398 0.6917 0.699 0.9176 0.9118 0.8 0.8 0.888 0.896 0.792 0.788 0.7336 0.7283 0.6207 0.6234
dot_accuracy_3 0.7828 0.937 0.9318 0.8753 0.878 0.9515 0.949 0.8568 0.8447 0.9529 0.9412 0.8882 0.8824 0.956 0.944 0.872 0.868 0.8727 0.8609 0.7874 0.794
dot_accuracy_5 0.8321 0.9738 0.9711 0.9278 0.9304 0.9709 0.9757 0.9199 0.9029 0.9706 0.9647 0.9235 0.9 0.972 0.968 0.9 0.892 0.9239 0.9173 0.8412 0.8583
dot_accuracy_10 0.8924 0.9921 0.9921 0.9738 0.9764 0.9951 0.9976 0.9636 0.9587 0.9882 0.9824 0.9471 0.9353 0.984 0.988 0.952 0.948 0.9685 0.9659 0.9134 0.916
dot_precision_1 0.6593 0.8018 0.8005 0.7152 0.7231 0.8301 0.8398 0.6917 0.699 0.9176 0.9118 0.8 0.8 0.888 0.896 0.792 0.788 0.7336 0.7283 0.6207 0.6234
dot_precision_3 0.6607 0.7406 0.7458 0.6636 0.6597 0.7451 0.7532 0.6367 0.6375 0.8039 0.8 0.7275 0.7235 0.8173 0.8133 0.7187 0.728 0.6719 0.6728 0.5722 0.5682
dot_precision_5 0.6427 0.6478 0.6507 0.5887 0.5877 0.5893 0.5874 0.5063 0.5049 0.7247 0.7235 0.6612 0.6565 0.7672 0.7648 0.6912 0.6912 0.5916 0.5898 0.5097 0.5113
dot_precision_10 0.6031 0.3948 0.3951 0.3798 0.378 0.3352 0.3369 0.3102 0.308 0.5988 0.6024 0.5535 0.5541 0.6712 0.6712 0.628 0.6252 0.3693 0.3699 0.3407 0.3392
dot_recall_1 0.0442 0.2539 0.2531 0.2153 0.2189 0.2594 0.2619 0.2104 0.2153 0.2578 0.2586 0.198 0.2009 0.186 0.1873 0.1541 0.1563 0.2205 0.2154 0.1813 0.1841
dot_recall_3 0.1304 0.592 0.5948 0.5178 0.5146 0.666 0.6738 0.5627 0.5664 0.4822 0.4849 0.4289 0.4345 0.3899 0.3879 0.3291 0.3377 0.5296 0.5316 0.4397 0.4413
dot_recall_5 0.2046 0.8034 0.8081 0.72 0.7222 0.8504 0.8477 0.7282 0.7259 0.6112 0.6106 0.5554 0.5504 0.5203 0.5223 0.4531 0.4571 0.7311 0.7273 0.6172 0.6244
dot_recall_10 0.3602 0.9439 0.9444 0.9022 0.8975 0.96 0.9646 0.8819 0.8766 0.8003 0.8029 0.7397 0.7429 0.7523 0.7587 0.6954 0.6922 0.8793 0.8823 0.8044 0.8012
dot_ndcg_10 0.6414 0.8761 0.8772 0.8078 0.8074 0.8822 0.8884 0.7797 0.7788 0.926 0.9287 0.8329 0.8343 0.9004 0.9016 0.8166 0.819 0.8028 0.8027 0.7084 0.7091
dot_mrr_10 0.729 0.8723 0.8719 0.8035 0.8107 0.8903 0.8978 0.7853 0.7862 0.9372 0.9313 0.8497 0.8447 0.9241 0.925 0.8369 0.8381 0.8127 0.8083 0.7175 0.7216
dot_map_100 0.6102 0.8376 0.8393 0.7575 0.7574 0.829 0.8347 0.7186 0.7205 0.9226 0.9258 0.8207 0.8231 0.8903 0.8898 0.8061 0.8119 0.7588 0.7586 0.6585 0.6599

RZTKInformation Retrieval

  • Datasets: bm-full--matryoshka_dim-768--, bm-full--matryoshka_dim-512--, bm-full--matryoshka_dim-256-- and bm-full--matryoshka_dim-128--
  • Evaluated with sentence_transformers_training.evaluation.information_retrieval_evaluator.RZTKInformationRetrievalEvaluator
Metric bm-full--matryoshka_dim-768-- bm-full--matryoshka_dim-512-- bm-full--matryoshka_dim-256-- bm-full--matryoshka_dim-128--
dot_accuracy_1 0.6593 0.6627 0.6551 0.6426
dot_precision_1 0.6593 0.6627 0.6551 0.6426
dot_recall_1 0.0442 0.044 0.0433 0.042
dot_ndcg_1 0.6593 0.6627 0.6551 0.6426
dot_mrr_1 0.6593 0.6627 0.6551 0.6426
dot_map_100 0.6102 0.6056 0.5964 0.5723

Training Details

Training Dataset

rozetka_positive_pairs

  • Dataset: rozetka_positive_pairs
  • Size: 85,255,772 training samples
  • Columns: query and text
  • Approximate statistics based on the first 1000 samples:
    query text
    type string string
    details
    • min: 7 tokens
    • mean: 12.49 tokens
    • max: 40 tokens
    • min: 7 tokens
    • mean: 54.6 tokens
    • max: 512 tokens
  • Samples:
    query text
    query: campingaz fold n cool classic 10l dark blue passage: Термосумка Campingaz Fold'n Cool Classic 10L Dark Blue (4823082704729)
    query: campingaz fold n cool classic 10l dark blue passage: Термопродукція Campingaz Гарантія 14 днів Вид Термосумки Колір Синій з білим Режим роботи Охолодження Країна реєстрації бренда Франція Країна-виробник товару Китай Тип гарантійного талона Гарантія по чеку Можливість доставки Почтомати Доставка Premium Немає
    query: campingaz fold n cool classic 10l dark blue passage: Термосумка Campingaz Fold'n Cool Classic 10L Dark Blue (4823082704729)
  • Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:
    {
        "loss": "RZTKMultipleNegativesRankingLoss",
        "n_layers_per_step": 1,
        "last_layer_weight": 1.0,
        "prior_layers_weight": 1.0,
        "kl_div_weight": 1.0,
        "kl_temperature": 0.3,
        "matryoshka_dims": [
            768,
            512,
            256,
            128
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": 1
    }
    

Evaluation Dataset

rozetka_positive_pairs

  • Dataset: rozetka_positive_pairs
  • Size: 1,132,902 evaluation samples
  • Columns: query and text
  • Approximate statistics based on the first 1000 samples:
    query text
    type string string
    details
    • min: 7 tokens
    • mean: 9.93 tokens
    • max: 14 tokens
    • min: 11 tokens
    • mean: 43.34 tokens
    • max: 258 tokens
  • Samples:
    query text
    query: батончики без сахара passage: Батончик журавлиновий кокос Gavra натуральний без цукру 40 г
    query: батончики без сахара passage: Батончики ГАВРА Країна-виробник товару Україна Тип Фруктові Вага 40 г Домішки Горіхи Домішки Мед
    query: батончики без сахара passage: Батончик клюквенный кокос Gavra натуральный без сахара 40 г
  • Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:
    {
        "loss": "RZTKMultipleNegativesRankingLoss",
        "n_layers_per_step": 1,
        "last_layer_weight": 1.0,
        "prior_layers_weight": 1.0,
        "kl_div_weight": 1.0,
        "kl_temperature": 0.3,
        "matryoshka_dims": [
            768,
            512,
            256,
            128
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": 1
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 88
  • per_device_eval_batch_size: 88
  • learning_rate: 2e-05
  • num_train_epochs: 1.0
  • warmup_ratio: 0.1
  • bf16: True
  • bf16_full_eval: True
  • tf32: True
  • dataloader_num_workers: 4
  • load_best_model_at_end: True
  • optim: adafactor
  • push_to_hub: True
  • hub_model_id: yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-9
  • hub_private_repo: True
  • prompts: {'query': 'query: ', 'text': 'passage: '}
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 88
  • per_device_eval_batch_size: 88
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 1.0
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: True
  • fp16_full_eval: False
  • tf32: True
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: True
  • dataloader_num_workers: 4
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adafactor
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: True
  • resume_from_checkpoint: None
  • hub_model_id: yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-9
  • hub_strategy: every_save
  • hub_private_repo: True
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: {'query': 'query: ', 'text': 'passage: '}
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • ddp_static_graph: False
  • ddp_comm_hook: bf16
  • gradient_as_bucket_view: False
  • num_proc: 30

Training Logs

Click to expand
Epoch Step Training Loss Validation Loss validation--matryoshka_dim-768--_dot_ndcg_10 bm-full_dot_ndcg_10 core-uk-title_dot_ndcg_10 core-ru-title_dot_ndcg_10 core-uk-options_dot_ndcg_10 core-ru-options_dot_ndcg_10 options-uk-title_dot_ndcg_10 options-ru-title_dot_ndcg_10 options-uk-options_dot_ndcg_10 options-ru-options_dot_ndcg_10 rusisms-uk-title_dot_ndcg_10 rusisms-ru-title_dot_ndcg_10 rusisms-uk-options_dot_ndcg_10 rusisms-ru-options_dot_ndcg_10 rusisms_corrected-uk-title_dot_ndcg_10 rusisms_corrected-ru-title_dot_ndcg_10 rusisms_corrected-uk-options_dot_ndcg_10 rusisms_corrected-ru-options_dot_ndcg_10 core_typos-uk-title_dot_ndcg_10 core_typos-ru-title_dot_ndcg_10 core_typos-uk-options_dot_ndcg_10 core_typos-ru-options_dot_ndcg_10 bm-full--matryoshka_dim-768--_dot_ndcg_1 bm-full--matryoshka_dim-512--_dot_ndcg_1 bm-full--matryoshka_dim-256--_dot_ndcg_1 bm-full--matryoshka_dim-128--_dot_ndcg_1
0.0050 1212 4.5978 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0100 2424 4.3615 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0150 3636 3.8175 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0200 4848 2.936 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0250 6060 2.2596 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0300 7272 1.9819 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0350 8484 1.8095 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0400 9696 1.6372 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0450 10908 1.525 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0500 12120 1.4855 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0550 13332 1.3615 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0600 14544 1.3257 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0651 15756 1.199 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0701 16968 1.1829 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0751 18180 1.1388 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0801 19392 1.0946 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0851 20604 1.0621 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0901 21816 1.0827 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0951 23028 0.971 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1000 24221 - 0.7535 0.2438 - - - - - - - - - - - - - - - - - - - - - - - - -
0.1001 24240 0.9553 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1051 25452 0.9061 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1101 26664 0.8798 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1151 27876 0.8616 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1201 29088 0.8223 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1251 30300 0.8249 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1301 31512 0.7795 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1351 32724 0.746 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1401 33936 0.7728 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1451 35148 0.7495 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1501 36360 0.7201 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1551 37572 0.6874 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1601 38784 0.6888 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1651 39996 0.6927 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1701 41208 0.6996 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1751 42420 0.6864 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1801 43632 0.6477 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1852 44844 0.6611 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1902 46056 0.6559 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1952 47268 0.656 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2000 48442 - 0.4729 0.2562 - - - - - - - - - - - - - - - - - - - - - - - - -
0.2002 48480 0.653 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2052 49692 0.6225 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2102 50904 0.6359 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2152 52116 0.648 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2202 53328 0.6165 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2252 54540 0.6189 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2302 55752 0.5992 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2352 56964 0.6146 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2402 58176 0.5869 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2452 59388 0.585 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2502 60600 0.5868 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2552 61812 0.5698 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2602 63024 0.5904 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2652 64236 0.5835 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2702 65448 0.5723 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2752 66660 0.5832 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2802 67872 0.5802 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2852 69084 0.5475 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2902 70296 0.5649 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2952 71508 0.593 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3000 72663 - 0.4132 0.2581 - - - - - - - - - - - - - - - - - - - - - - - - -
0.3002 72720 0.5578 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3052 73932 0.5364 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3103 75144 0.5588 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3153 76356 0.5453 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3203 77568 0.5559 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3253 78780 0.5561 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3303 79992 0.5466 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3353 81204 0.5187 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3403 82416 0.518 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3453 83628 0.5396 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3503 84840 0.5237 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3553 86052 0.5209 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3603 87264 0.5247 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3653 88476 0.5348 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3703 89688 0.5483 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3753 90900 0.5307 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3803 92112 0.5196 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3853 93324 0.5193 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3903 94536 0.5137 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3953 95748 0.5194 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4000 96884 - 0.3739 0.2626 - - - - - - - - - - - - - - - - - - - - - - - - -
0.4003 96960 0.5146 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4053 98172 0.5238 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4103 99384 0.5107 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4153 100596 0.5126 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4203 101808 0.5213 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4253 103020 0.5328 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4303 104232 0.5255 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4354 105444 0.5147 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4404 106656 0.5082 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4454 107868 0.4991 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4504 109080 0.5073 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4554 110292 0.5125 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4604 111504 0.5075 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4654 112716 0.5099 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4704 113928 0.5148 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4754 115140 0.517 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4804 116352 0.5213 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4854 117564 0.4914 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4904 118776 0.5225 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4954 119988 0.5229 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5000 121105 - 0.3700 0.2651 - - - - - - - - - - - - - - - - - - - - - - - - -
0.5004 121200 0.5001 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5054 122412 0.4911 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5104 123624 0.5055 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5154 124836 0.5129 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5204 126048 0.4918 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5254 127260 0.4963 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5304 128472 0.4899 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5354 129684 0.505 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5404 130896 0.4915 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5454 132108 0.5 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5504 133320 0.5132 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5555 134532 0.4994 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5605 135744 0.5016 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5655 136956 0.5001 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5705 138168 0.5141 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5755 139380 0.5004 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5805 140592 0.5078 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5855 141804 0.493 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5905 143016 0.4964 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5955 144228 0.4707 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6000 145326 - 0.3571 0.2653 - - - - - - - - - - - - - - - - - - - - - - - - -
0.6005 145440 0.4959 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6055 146652 0.4989 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6105 147864 0.4958 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6155 149076 0.4992 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6205 150288 0.502 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6255 151500 0.5045 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6305 152712 0.4837 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6355 153924 0.492 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6405 155136 0.4905 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6455 156348 0.4889 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6505 157560 0.5005 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6555 158772 0.4796 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6605 159984 0.4909 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6655 161196 0.4935 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6705 162408 0.478 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6755 163620 0.4929 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6806 164832 0.5122 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6856 166044 0.4858 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6906 167256 0.4938 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6956 168468 0.5003 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7000 169547 - 0.3588 0.2653 - - - - - - - - - - - - - - - - - - - - - - - - -
0.7006 169680 0.4865 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7056 170892 0.4756 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7106 172104 0.5094 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7156 173316 0.5073 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7206 174528 0.4851 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7256 175740 0.4968 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7306 176952 0.4894 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7356 178164 0.493 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7406 179376 0.4897 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7456 180588 0.4836 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7506 181800 0.4889 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7556 183012 0.5145 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7606 184224 0.5032 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7656 185436 0.5048 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7706 186648 0.5168 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7756 187860 0.5001 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7806 189072 0.4904 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7856 190284 0.5048 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7906 191496 0.4982 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7956 192708 0.4987 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8000 193768 - 0.3554 0.2649 - - - - - - - - - - - - - - - - - - - - - - - - -
0.8007 193920 0.5009 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8057 195132 0.4931 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8107 196344 0.4752 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8157 197556 0.4841 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8207 198768 0.4929 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8257 199980 0.486 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8307 201192 0.5016 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8357 202404 0.5026 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8407 203616 0.4957 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8457 204828 0.5047 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8507 206040 0.4822 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8557 207252 0.49 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8607 208464 0.4729 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8657 209676 0.4879 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8707 210888 0.4935 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8757 212100 0.4998 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8807 213312 0.4992 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8857 214524 0.4952 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8907 215736 0.516 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8957 216948 0.4965 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9 217989 - 0.355 0.2648 - - - - - - - - - - - - - - - - - - - - - - - - -
0.9007 218160 0.517 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9057 219372 0.492 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9107 220584 0.4924 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9157 221796 0.4826 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9207 223008 0.4943 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9258 224220 0.502 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9308 225432 0.5054 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9358 226644 0.5064 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9408 227856 0.5062 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9458 229068 0.4315 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9508 230280 0.3721 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9558 231492 0.4901 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9608 232704 0.491 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9658 233916 0.5232 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9708 235128 0.4325 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9758 236340 0.3745 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9808 237552 0.3681 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9858 238764 0.3627 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9908 239976 0.4791 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9958 241188 0.5111 - - - - - - - - - - - - - - - - - - - - - - - - - - -
1.0 242203 - - - 0.6414 0.8761 0.8772 0.8078 0.8074 0.8822 0.8884 0.7797 0.7788 0.9260 0.9287 0.8329 0.8343 0.9004 0.9016 0.8166 0.8190 0.8028 0.8027 0.7084 0.7091 0.6593 0.6627 0.6551 0.6426
  • The bold row denotes the saved checkpoint.

Framework Versions

  • Python: 3.11.10
  • Sentence Transformers: 3.3.0
  • Transformers: 4.46.3
  • PyTorch: 2.5.1+cu124
  • Accelerate: 1.1.1
  • Datasets: 3.1.0
  • Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
Downloads last month
55
Safetensors
Model size
278M params
Tensor type
BF16
·
Inference Providers NEW
This model is not currently available via any of the supported third-party Inference Providers, and the model is not deployed on the HF Inference API.

Model tree for yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-9

Quantized
(19)
this model

Evaluation results