README.md

---
language:
- ru
- en
license: other
library_name: transformers
pipeline_tag: text-generation
license_name: apache-2.0
license_link: https://huggingface.co/MTSAIR/Cotype-Nano/blob/main/Apache%20License%20MTS%20AI.docx
model-index:
- name: Cotype-Nano
  results:
  - task:
      type: text-generation
      name: Text Generation
    dataset:
      name: IFEval (0-Shot)
      type: HuggingFaceH4/ifeval
      args:
        num_few_shot: 0
    metrics:
    - type: inst_level_strict_acc and prompt_level_strict_acc
      value: 37.48
      name: strict accuracy
    source:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=MTSAIR/Cotype-Nano
      name: Open LLM Leaderboard
  - task:
      type: text-generation
      name: Text Generation
    dataset:
      name: BBH (3-Shot)
      type: BBH
      args:
        num_few_shot: 3
    metrics:
    - type: acc_norm
      value: 14.45
      name: normalized accuracy
    source:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=MTSAIR/Cotype-Nano
      name: Open LLM Leaderboard
  - task:
      type: text-generation
      name: Text Generation
    dataset:
      name: MATH Lvl 5 (4-Shot)
      type: hendrycks/competition_math
      args:
        num_few_shot: 4
    metrics:
    - type: exact_match
      value: 6.42
      name: exact match
    source:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=MTSAIR/Cotype-Nano
      name: Open LLM Leaderboard
  - task:
      type: text-generation
      name: Text Generation
    dataset:
      name: GPQA (0-shot)
      type: Idavidrein/gpqa
      args:
        num_few_shot: 0
    metrics:
    - type: acc_norm
      value: 2.68
      name: acc_norm
    source:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=MTSAIR/Cotype-Nano
      name: Open LLM Leaderboard
  - task:
      type: text-generation
      name: Text Generation
    dataset:
      name: MuSR (0-shot)
      type: TAUR-Lab/MuSR
      args:
        num_few_shot: 0
    metrics:
    - type: acc_norm
      value: 2.11
      name: acc_norm
    source:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=MTSAIR/Cotype-Nano
      name: Open LLM Leaderboard
  - task:
      type: text-generation
      name: Text Generation
    dataset:
      name: MMLU-PRO (5-shot)
      type: TIGER-Lab/MMLU-Pro
      config: main
      split: test
      args:
        num_few_shot: 5
    metrics:
    - type: acc
      value: 16.41
      name: accuracy
    source:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=MTSAIR/Cotype-Nano
      name: Open LLM Leaderboard
---




# Cotype-Nano🤖

MTSAIR/Cotype-Nano – это легковесная LLM, разработанная для выполнения задач с минимальными ресурсами. Она оптимизирована для быстрого и эффективного взаимодействия с пользователями, обеспечивая высокую производительность даже в условиях ограниченных ресурсов. 

Cotype Nano is a lightweight LLM, designed to perform tasks with minimal resources. It is optimized for fast and efficient interaction with users, providing high performance even under resource-constrained conditions.

### Inference with vLLM
```sh
python3 -m vllm.entrypoints.openai.api_server --model MTSAIR/Cotype-Nano --port 8000
```

### Recommended generation parameters and system prompt
```python
import openai
import pandas as pd
from tqdm import tqdm

openai.api_key = 'xxx'

endpoint = 'http://localhost:8000/v1'
model = 'MTSAIR/Cotype-Nano'
openai.api_base = endpoint

# Possible system prompt:
# {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},


response = openai.ChatCompletion.create(
    model=model,
    temperature=0.4, # 0.0 is also allowed
    frequency_penalty=0.0,
    max_tokens=2048,
    top_p=0.8, # 0.1 is also allowed
    messages=[
          {"role": "user", "content": "Как мне обучить модель meta-llama/Llama-3.2-1B с помощью библиотеки transformers?"}
        ]
    )

answer = response["choices"][0]["message"]["content"]
print(answer)
```

### Inference with Huggingface
```python
from transformers import pipeline

pipe = pipeline("text-generation", model="MTSAIR/Cotype-Nano", device="cuda")

messages = [
  {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},
  {"role": "user", "content": "Расскажи мне про ИИ"},
]

res = pipe(messages, max_length=1024)
print(res[0]['generated_text'][-1]['content'])
```


## Example request

**Request:** Напиши простой сервер на фастапи


#### Cotype-Nano response:
> Фастапи (FastAPI) — это современный фреймворк для создания веб-сервисов на языке Python, который использует асинхронный синтаксис и поддерживает генераторы. Он подходит для создания сложных веб-приложений и часто используется в сочетании с базой данных.
> 
> Для создания простого сервера на фастапи, вам понадобится:
> 
> 1. Установить фастапи и необходимые библиотеки.
> 2. Создать базовый класс `App` для настройки сервера.
> 3. Реализовать маршруты и обработчики для вашего веб-приложения.
> 
> ### Шаг 1: Установка фастапи и необходимых библиотек
> 
> Для начала установите фастапи и другие необходимые библиотеки, такие как `uvicorn` для запуска сервера:
> 
> ```bash
> pip install fastapi uvicorn
> ```
> 
> ### Шаг 2: Создание класса `App`
> 
> Создайте класс `App`, который будет настраивать сервер:
> 
> ```python
> from fastapi import FastAPI
> 
> app = FastAPI()
> ```
> 
> ### Шаг 3: Реализация маршрутов
> 
> Добавьте маршруты и обработчики для вашего веб-приложения. Например, создадим простой endpoint для ответа на GET-запросы:
> 
> ```python
> @app.get("/")
> async def read_root():
>     return {"message": "Hello, FastAPI!"}
> ```
> 
> ### Шаг 4: Запуск сервера
> 
> Используйте `uvicorn` для запуска сервера:
> 
> ```bash
> uvicorn main:app --reload
> ```
> 
> Здесь `main` — это имя файла с вашим кодом, а `app` — это экземпляр класса `App`, который вы создали ранее.
> 
>`--reload` указывает `uvicorn` перезагружать сервер при изменении кода.
> 
> Теперь, когда вы запустите сервер, он будет доступен по адресу `http://127.0.0.1:8000`. Вы можете отправить GET-запрос на `/` и увидеть ответ:
>  
> ```
> {
>     "message": "Hello, FastAPI!"
> }
> ```
> 
> Это базовый пример того, как можно создать простой сервер на фастапи. Вы можете расширять и модифицировать его, добавляя новые маршруты, обработчики и функциональность в соответствии с вашими требованиями.

### Training process

The model was trained in two stages. In the first stage, MLP layers were trained on mathematics and code. In the second stage, the entire model was trained on internal and open synthetic instructional datasets.

### ru-llm-arena: **30.2** (local measurement)

| Model                                      | Score  | 95% CI | Avg. #Tokens |
|---------------------------------------------|-------|-------------------------|---------------|
| **Cotype-Nano**                           | **30.2**  | **+2.2 / -1.3**            | **542**           |
| vikhr-it-5.3-fp16-32k                       | 27.8  | +1.5 / -2.1              | 519.71        |
| vikhr-it-5.3-fp16                           | 22.73 | +1.8 / -1.7             | 523.45        |
| **Cotype-Nano-4bit**                           | **22.5**  | **+2.1 / -1.4**               | **582**           |
| kolibri-vikhr-mistral-0427                  | 22.41 | +1.6 / -1.9             | 489.89        |
| snorkel-mistral-pairrm-dpo                  | 22.41 | +1.7 / -1.6             | 773.8         |
| storm-7b                                    | 20.62 | +1.4 / -1.6             | 419.32        |
| neural-chat-7b-v3-3                         | 19.04 | +1.8 / -1.5             | 927.21        |
| Vikhrmodels-Vikhr-Llama-3.2-1B-instruct     | 19.04 | +1.2 / -1.5             | 958.63        |
| gigachat_lite                               | 17.2  | +1.5 / -1.5             | 276.81        |
| Vikhrmodels-Vikhr-Qwen-2.5-0.5b-Instruct    | 16.5  | +1.5 / -1.7             | 583.5         |
| Qwen-Qwen2.5-1.5B-Instruct                  | 16.46 | +1.3 / -1.3             | 483.67        |
| Vikhrmodels-vikhr-qwen-1.5b-it              | 13.19 | +1.3 / -1.1             | 2495.38       |
| meta-llama-Llama-3.2-1B-Instruct            | 4.04  | +0.6 / -0.8             | 1240.53       |
| Qwen-Qwen2.5-0.5B-Instruct                  | 4.02  | +0.7 / -0.8             | 829.87        |
# [Open LLM Leaderboard Evaluation Results](https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard)
Detailed results can be found [here](https://huggingface.co/datasets/open-llm-leaderboard/details_MTSAIR__Cotype-Nano)

|      Metric       |Value|
|-------------------|----:|
|Avg.               |13.26|
|IFEval (0-Shot)    |37.48|
|BBH (3-Shot)       |14.45|
|MATH Lvl 5 (4-Shot)| 6.42|
|GPQA (0-shot)      | 2.68|
|MuSR (0-shot)      | 2.11|
|MMLU-PRO (5-shot)  |16.41|