README.md

---
library_name: transformers
license: apache-2.0
language:
- fa
pipeline_tag: text-generation
tags:
- neura
- medical
- DrNeura
---

# Neura Orca Gemma 7B


<p align="center">
  <img src="neura_gemma.png" width=512 height=256 />
</p>

<!-- Provide a quick summary of what the model is/does. -->

## Model Description

<!-- Provide a longer summary of what this model is. -->

- **Developed by:** Neura company
- **Funded by:** Neura
- **Model type:** gemma7b
- **Language(s) (NLP):** Persian
- **Finetuned from model:** google/gemma-7b-it

### Model Sources

<!-- Provide the basic links for the model. -->

- **Repository:** https://huggingface.co/google/gemma-7b-it

## Uses

Check out the Google Colab demo to run NeuraOrcaGemma7b on a free-tier Google Colab instance: [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/drive/1SfY_jA4WKD_7JaRenaZBAzI9Hh2qbivs)


make sure these packages are installed:
```
!pip install --no-deps xformers accelerate bitsandbytes
!pip install -q -U transformers
```
```python
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch
import os
MODEL_PATH = "Neurai/NeuraMedicalGemma7b"
quantization_config = BitsAndBytesConfig(
    load_in_4bit = True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,
)

model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH,
    device_map = "auto",
    trust_remote_code = True,
    quantization_config=quantization_config,
)

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)

input_prompt = """
### Instruction:{}
### Input:{}
### Response:{}"""

input_text = input_prompt.format(
        "انگشت شصت دستم با درد باز میشود عکس ام آر آی هم گرفتم اثری از شکستگی نیست تشخیص تو چیه؟", 
        "", 
        ""
    )

inputs = tokenizer([input_text], return_tensors = "pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens = 300, use_cache = True)
response = tokenizer.batch_decode(outputs)[0]
```
Generated text :
```
 بر اساس علائم و نتایج تصویربرداری،
 به نظر می‌رسد که شما ممکن است از سندرم تونل کارپال رنج ببرید.
 این وضعیت زمانی رخ می دهد که عصب مدیان در مچ دست شما فشرده یا فشرده می شود.
 در مورد شما، ممکن است که ضربه به انگشت شست شما باعث این فشردگی شده باشد. <eos>
```


## More Information
https://neura.info

## Model Card Authors
Esmaeil Zahedi, Mohsen Yazdinejad

## Model Card Contact
[email protected]