README.md

metadata

language:
  - tr
license: apache-2.0
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:920106
  - loss:MatryoshkaLoss
  - loss:MultipleNegativesRankingLoss
base_model: intfloat/multilingual-e5-large-instruct
widget:
  - source_sentence: kosher süt ürünleri nedir
    sentences:
      - >-
        Endonezya'nın konumu. Endonezya Hint Okyanusu ve Pasifik Okyanusu
        arasında yer almaktadır. Endonezya'da yaklaşık 13.000 ada vardır.
        Endonezya Adaları yıl boyunca sıcak ve nemli bir iklim yaşar.Bu adalar
        Asya ve Avustralya arasında ekvator boyunca yer almaktadır.Yerine bağlı
        olarak, Endonezya'da hava tropikaldir.Endonezya'da yaklaşık 13.000 ada
        vardır.Endonezya Adaları yıl boyunca sıcak ve nemli bir iklim yaşar.Bu
        adalar Asya ve Avustralya arasında ekvator boyunca yer almaktadır.
      - >-
        Diğer şeker ikame edicilere göre daha az bir aftertate sahip olduğu
        iddia edilir ve fırınlanmış ürünlerde ve yumuşak içeceklerde kullanıma
        uygundur. Ürün Kosher - ve potansiyel olarak Hamursuz Bayramı için
        Kosher - ve yakın gelecekte birçok üründe görünmesini
        bekleyebiliriz.Ayrıca hepimiz güçlü müshiller olduklarının farkında
        olmalıyız!) Rosh Hashana yaklaşırken, belki de Shimshon'un benzetmesini
        genişletebiliriz ve bir kullanım için bir tatlı olabilir.
      - >-
        Kosher yemekleri, kashrut (Yahudi diyet yasası) düzenlemelerine uyan
        yiyeceklerdir.
  - source_sentence: Kilometre cinsinden au nedir?
    sentences:
      - >-
        Astronomik birim (AU veya au veya au veya bazen ua) bir uzunluk
        birimidir. Yaklaşık olarak Dünya ile Güneş arasındaki ortalama mesafeye
        eşittir. AU'nun şu anda kabul edilen değeri 149 597 870 691  30 metredir
        (yaklaşık 150 milyon kilometre veya 93 milyon mil).
      - >-
        Kiraz. Kiraz ağaçları dünya çapında bulunur. Kirazdan siyah kiraza kadar
        değişen 40 veya daha fazla çeşit vardır. Meyve ile birlikte, kiraz
        ağaçları, son derece hoş kokulu hafif ve narin pembemsi-beyaz çiçekler
        üretir.Omments. Submit. Mülkünüze meyve ağaçları dikmek sadece size
        istikrarlı bir organik meyve kaynağı sağlamakla kalmaz, aynı zamanda
        bahçenizi güzelleştirmenizi ve oksijeni çevreye geri vermenizi sağlar.
      - >-
        Gezegen Uzaklık Matrisi. Aşağıda güneş sistemimizdeki sekiz gezegenin
        bir matrisi ve bunların birbirinden olan uzaklıkları bulunur. Her bir
        mesafe ortalama olarak hesaplanır ve 1 AU = Güneş ve Dünya arasındaki
        mesafe = 149.598.000 kilometre olan astronomik birimlere (AU)
        dönüştürülür.
  - source_sentence: Kalem girişi nedir
    sentences:
      - >-
        Çeşme kalemlerinizi dolma kalem mürekkep dönüştürücüleri kullanarak
        dolma kalem mürekkepleri ile doldurun. Bu Lamy dolma kalem mürekkep
        dönüştürücü, Lamy Safari, Vista, Joy ve AL-Star ile şişelenmiş mürekkep
        kullanmanıza olanak tanır.
      - >-
        Tablet PC kullanıcıları, uygulamaları kontrol etmek ve bilgi girmek için
        birincil yöntemler olarak kalem ve dokunmatik girişe güvenir. Bu bölüm,
        kalem ve dokunmatik girişin fare gibi geleneksel işaret cihazlarının
        yerine kullanılmasını tartışır.
      - >-
        Sinüs enfeksiyonu (sinüzit) alerjiler, enfeksiyon ve kimyasallar veya
        sinüslerin diğer tahriş edicilerinden kaynaklanır. Belirtiler ve
        semptomlar baş ağrısı, ateş ve yüz hassasiyeti, basınç veya ağrıdır.
        Sinüs enfeksiyonlarının tedavileri genellikle antibiyotiklerle ve bazen
        de ev ilaçları ile yapılır.
  - source_sentence: Sınırsız müzik sahibi olmak ne kadara mal olur
    sentences:
      - >-
        İşte Bastrop İlçe Hapishanesi için hapishane mahkum bilgileri. Bastrop
        İlçe Hapishanesi, Hapishanede yer almaktadır: 200 Jackson Sokak Şerifi:
        200 Jackson Sokak Polisi: 104 Grady Tuck Lane, Bastrop, Teksas'ta ve 432
        yatak kapasitesine sahiptir.
      - >-
        Verizon Unlimited harika bir değerdir: sınırsız veri için 1 $ 80,
        kağıtsız faturalandırma ve AutoPay ile akıllı telefonunuzdaki konuşma ve
        metin. Sınırsız veri ile dört satır için satır başına 2 $ 45, akıllı
        telefonlarınızda ve tabletlerinizde kağıtsız faturalandırma ve AutoPay
        ile konuşma ve metin.
      - >-
        3 aylık abonelik ücreti 17.99 USD ve 12 aylık abonelik ücreti 49,99 $
        'dır. Music Unlimited için yeni teklif ABD, Kanada, Danimarka, Norveç,
        İsveç, Avustralya ve Yeni Zelanda'da yaşayan tüketicilere sunulmaktadır.
  - source_sentence: ACS sınıfı kimyasallar nedir
    sentences:
      - >-
        Reaktif dereceli kimyasallar tipik olarak ACS dereceli kimyasallardır ve
        bu nedenle ACS sertifikalarını kaybetmişlerdir. Carolina ayrıca sınırlı
        sayıda kimyasal için bir ambalaj seçeneği sunar. Konsantre asitler gibi
        aşındırıcı kimyasallar normalde cam şişelerde paketlenir.
      - >-
        Talimatlar: 1 Uygun sayılarla tüm kutuları doldurun (1. ve 2. Çeyrek
        dönem notunuzun her biri% 42,5'tir. Final Sınavı, dönem notunuzun%
        15'idir). 2 Hangisini hesaplamak istediğinize bağlı olarak dönem notu
        veya final sınav notu kutusunu boş bırakın.
      - >-
        Genellikle bir proksimal humerus kırığının birleşmesi yaklaşık 6 ila 8
        hafta sürer. Ancak, bu sadece kemikli birliğin alınmasıdır, tam iyileşme
        için gerekli olan zamanı dikkate almaz.
pipeline_tag: sentence-similarity
library_name: sentence-transformers

intfloat-fine-tuned

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large-instruct on the json dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large-instruct
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json
• Language: tr
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Omerhan/intfloat-fine-tuned-vx")
# Run inference
sentences = [
    'ACS sınıfı kimyasallar nedir',
    'Reaktif dereceli kimyasallar tipik olarak ACS dereceli kimyasallardır ve bu nedenle ACS sertifikalarını kaybetmişlerdir. Carolina ayrıca sınırlı sayıda kimyasal için bir ambalaj seçeneği sunar. Konsantre asitler gibi aşındırıcı kimyasallar normalde cam şişelerde paketlenir.',
    "Talimatlar: 1 Uygun sayılarla tüm kutuları doldurun (1. ve 2. Çeyrek dönem notunuzun her biri% 42,5'tir. Final Sınavı, dönem notunuzun% 15'idir). 2 Hangisini hesaplamak istediğinize bağlı olarak dönem notu veya final sınav notu kutusunu boş bırakın.",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

• Dataset: json
• Size: 920,106 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 4 tokens mean: 10.38 tokens max: 39 tokens	min: 26 tokens mean: 81.21 tokens max: 149 tokens	min: 4 tokens mean: 78.05 tokens max: 133 tokens

• Samples:

  anchor	positive	negative
  Avustralya'ya özgü hangi meyve	Passiflora herbertiana. Avustralya'ya özgü nadir bir tutku meyvesi. Meyveler yeşil tenli, beyaz etli, bilinmeyen bir yenilebilir derecelendirmeye sahiptir. Bazı kaynaklar meyveyi yenilebilir, tatlı ve lezzetli olarak listelerken, diğerleri meyveleri acı ve yenemez olarak listeler. Avustralya'ya özgü nadir bir tutku meyvesi. Meyveler yeşil tenli, beyaz etli, bilinmeyen yenilebilir bir derecelendirmeye sahip. Bazı kaynaklar meyveyi tatlı olarak listeler.	Kola cevizi, Afrika'nın tropikal yağmur ormanlarına özgü bir ağaç cinsidir (Cola).
  meyve ağaçları türleri	Kiraz. Kiraz ağaçları dünya çapında bulunur. Kirazdan siyah kiraza kadar değişen 40 veya daha fazla çeşit vardır. Meyve ile birlikte, kiraz ağaçları, son derece hoş kokulu hafif ve narin pembemsi-beyaz çiçekler üretir.Omments. Submit. Mülkünüze meyve ağaçları dikmek sadece size istikrarlı bir organik meyve kaynağı sağlamakla kalmaz, aynı zamanda bahçenizi güzelleştirmenizi ve oksijeni çevreye geri vermenizi sağlar.	Kola cevizi, Afrika'nın tropikal yağmur ormanlarına özgü bir ağaç cinsidir (Cola).
  Harrison City Pa nerede yaşıyor?	Harrison City, Amerika Birleşik Devletleri'nin Pensilvanya eyaletinde yer alan Westmoreland County'de nüfus sayımına göre belirlenmiş bir yerdir. 2000 nüfus sayımında nüfus 155'tir.	En yakın şehirler: Vandling borough, PA (1.1 mil ), Simpson, PA (2.0 mil ), Union Dale borough, PA (2,1 mil ), Carbondale, PA (2,4 mil ), Waymart borough, PA (2,4 mil ), Mayfield borough, PA (2.9 mil ), Prompion borough, PA (2.9 mil ), Jermyn borough, PA (3.1 mil ).

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024
      ],
      "matryoshka_weights": [
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• gradient_accumulation_steps: 8
• learning_rate: 5e-06
• num_train_epochs: 1
• lr_scheduler_type: cosine
• warmup_ratio: 0.01
• tf32: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 8
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-06
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.01
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss
0.0348	500	0.2397
0.0696	1000	0.1117
0.1043	1500	0.1016
0.1391	2000	0.0992
0.1739	2500	0.0971
0.2087	3000	0.0913
0.2434	3500	0.087
0.2782	4000	0.0902
0.3130	4500	0.0858
0.3478	5000	0.0816
0.3826	5500	0.0895
0.4173	6000	0.0779
0.4521	6500	0.0796
0.4869	7000	0.0806
0.5217	7500	0.0861
0.5565	8000	0.0784
0.5912	8500	0.0687
0.6260	9000	0.0758
0.6608	9500	0.0787
0.6956	10000	0.0692
0.7303	10500	0.0748
0.7651	11000	0.074
0.7999	11500	0.0728
0.8347	12000	0.0739
0.8695	12500	0.0685
0.9042	13000	0.0748
0.9390	13500	0.074
0.9738	14000	0.0693

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.1.1
• Transformers: 4.45.2
• PyTorch: 2.5.1+cu121
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}