farhana1996/bangla-unsup-simcse

SentenceTransformer based on shihab17/bangla-sentence-transformer

This is a sentence-transformers model finetuned from shihab17/bangla-sentence-transformer. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: shihab17/bangla-sentence-transformer
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("farhana1996/bangla-unsup-simcse")
# Run inference
sentences = [
    'প্রথম বিশ্বযুদ্ধে যুক্তরাষ্ট্রের নাগরিকদের মৃত্যুর চেয়েও এই সংখ্যাটা বেশি।',
    'প্রথম বিশ্বযুদ্ধে যুক্তরাষ্ট্রের নাগরিকদের মৃত্যুর চেয়েও এই সংখ্যাটা বেশি।',
    'রবিবার রাজস্ব ভবন সভাকক্ষে জাতীয় রাজস্ব বোর্ডের এনবিআর সঙ্গে প্রাক বাজেট আলোচনায় বাংলাদেশ ট্যানারি এসোসিয়েশনের সভাপতি শাহীন আহমেদ বলেন, সাভারের চামড়া শিল্প নগরী স্থাপনের আগে উদ্যোক্তাদের বলা হয়েছিল, কর অবকাশ সুবিধা দেয়া হবে।',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 500,000 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 4 tokens mean: 27.75 tokens max: 383 tokens	min: 4 tokens mean: 27.75 tokens max: 383 tokens

• Samples:

  sentence_0	sentence_1
  তার অন্তঃসত্ত্বা বোন ও মা বাবাকেও মারধর করা হয় বলে অভিযোগ।	তার অন্তঃসত্ত্বা বোন ও মা বাবাকেও মারধর করা হয় বলে অভিযোগ।
  ডিজিটাল প্রযুক্তি ব্যবহারের মাধ্যমে দেশের প্রান্তিক পর্যায়েও আর্থিক সেবা নিশ্চিত করতে নীতিগত সহায়তা প্রদান করছে সরকার।	ডিজিটাল প্রযুক্তি ব্যবহারের মাধ্যমে দেশের প্রান্তিক পর্যায়েও আর্থিক সেবা নিশ্চিত করতে নীতিগত সহায়তা প্রদান করছে সরকার।
  পরে এটি ইলেক্টোরাল কলেজ হিসেবে পরিচিত হয়ে ওঠে।	পরে এটি ইলেক্টোরাল কলেজ হিসেবে পরিচিত হয়ে ওঠে।

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 1
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
0.016	500	0.1576
0.032	1000	0.0004
0.048	1500	0.0003
0.064	2000	0.0002
0.08	2500	0.0002
0.096	3000	0.0001
0.112	3500	0.0002
0.128	4000	0.0001
0.144	4500	0.0001
0.16	5000	0.0
0.176	5500	0.0001
0.192	6000	0.0001
0.208	6500	0.0001
0.224	7000	0.0001
0.24	7500	0.0001
0.256	8000	0.0
0.272	8500	0.0002
0.288	9000	0.0002
0.304	9500	0.0002
0.32	10000	0.0
0.336	10500	0.0
0.352	11000	0.0
0.368	11500	0.0
0.384	12000	0.0
0.4	12500	0.0002
0.416	13000	0.0002
0.432	13500	0.0001
0.448	14000	0.0
0.464	14500	0.0
0.48	15000	0.0003
0.496	15500	0.0
0.512	16000	0.0
0.528	16500	0.0002
0.544	17000	0.0001
0.56	17500	0.0
0.576	18000	0.0001
0.592	18500	0.0
0.608	19000	0.0
0.624	19500	0.0005
0.64	20000	0.0
0.656	20500	0.0
0.672	21000	0.0
0.688	21500	0.0
0.704	22000	0.0
0.72	22500	0.0
0.736	23000	0.0002
0.752	23500	0.0002
0.768	24000	0.0
0.784	24500	0.0
0.8	25000	0.0
0.816	25500	0.0
0.832	26000	0.0
0.848	26500	0.0
0.864	27000	0.0
0.88	27500	0.0
0.896	28000	0.0
0.912	28500	0.0002
0.928	29000	0.0
0.944	29500	0.0
0.96	30000	0.0002
0.976	30500	0.0
0.992	31000	0.0004

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.3.1
• Transformers: 4.47.0
• PyTorch: 2.5.1+cu121
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}