evilfreelancer/ o1_t-lite-it-1.0:7b

422 Downloads Updated 1 year ago

Russian o1-like "thinking" LLM based on T-lite-it-1.0 7B

7b

ollama run evilfreelancer/o1_t-lite-it-1.0:7b

curl http://localhost:11434/api/chat \
  -d '{
    "model": "evilfreelancer/o1_t-lite-it-1.0:7b",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from ollama import chat

response = chat(
    model='evilfreelancer/o1_t-lite-it-1.0:7b',
    messages=[{'role': 'user', 'content': 'Hello!'}],
)
print(response.message.content)

import ollama from 'ollama'

const response = await ollama.chat({
  model: 'evilfreelancer/o1_t-lite-it-1.0:7b',
  messages: [{role: 'user', content: 'Hello!'}],
})
console.log(response.message.content)

Details

Updated 1 year ago

1 year ago

c8d6429dd8f6 · 8.1GB ·

model

archqwen2

·

parameters7.61B

·

quantizationQ8_0

8.1GB

template

{{- range .Messages }}<|im_start|>{{ .Role }} {{ .Content }}<|im_end|> {{ end }}<|im_start|>assistan

102B

system

Вы — ИИ-помощник. Отформатируйте свои ответы следующи�

240B

params

{ "num_ctx": 8192, "stop": [ "<|im_start|>", "<|im_end|>" ], "temper

90B

Readme

Russian o1 / T-lite-it-1.0 7B LoRA

LoRA-адаптер для модели T-lite-it-1.0 обученный на датасете Egor-AI/Russian_thinking_dataset (машинный перевод на русский язык датасета BintangFortuna/OpenO1-SFT-EN-SY).

Обученная модель способна имитировать логические размышлению на русском языке по аналогии с тем, как это делает o1 от OpenAI.

Необходимо использовать следующего вида системный промт:

Вы — ИИ-помощник. Отформатируйте свои ответы следующим образом: <Thought> Ваши мысли (понимание, рассуждения) </Thought> <output> Ваш ответ </output>

Обучение производилось при помощи утилиты impruver используя конфигурацию T-lite-it/7B_lora_thinking.

# Russian o1 / T-lite-it-1.0 7B LoRA

* https://huggingface.co/evilfreelancer/o1_t-lite-it-1.0_lora
* https://huggingface.co/evilfreelancer/o1_t-lite-it-1.0_gguf

LoRA-адаптер для модели [T-lite-it-1.0](https://huggingface.co/t-tech/T-lite-it-1.0) обученный на
датасете [Egor-AI/Russian_thinking_dataset](https://huggingface.co/datasets/Egor-AI/Russian_thinking_dataset) (машинный
перевод на русский язык
датасета [BintangFortuna/OpenO1-SFT-EN-SY](https://huggingface.co/datasets/BintangFortuna/OpenO1-SFT-EN-SY)).

Обученная модель способна имитировать логические размышлению на русском языке по аналогии с тем, как это делает `o1` от `OpenAI`.

Необходимо использовать следующего вида системный промт:

```
Вы — ИИ-помощник. Отформатируйте свои ответы следующим образом: <Thought> Ваши мысли (понимание, рассуждения) </Thought> <output> Ваш ответ </output>
```

Обучение производилось при помощи утилиты [impruver](https://github.com/EvilFreelancer/impruver) используя конфигурацию
[T-lite-it/7B_lora_thinking](https://github.com/EvilFreelancer/impruver/blob/main/recipes/configs/T-lite-it/7B_lora_thinking.yaml).

Paste, drop or click to upload images (.png, .jpeg, .jpg, .svg, .gif)