QuantFactory/OmniLing-V1-8b-experimental-GGUF
This is quantized version of WoonaAI/OmniLing-V1-8b-experimental created using llama.cpp
Original Model Card
Это экспериментальный релиз, созданный исключительно в исследовательских целях! К сожалению, стабильная работа не гарантируется
Model overview
OmniLing - модель, созданная для переводов между русским и английским языком (пары RU->EN, EN->RU). Эта модель является тонкой настройкой AnatoliiPotapov/T-lite-instruct-0.1. Она находится на одном уровне с крупнейшими проприетарными моделями и может быть использована для качественного перевода художественных текстов, датасетов, сообщений пользователей, описаний и т.п При обучении были использованы собственноручно сгенерированные данные от более сильной модели.
Prompt Template - Llama 3 Instruct
<|start_header_id|>system<|end_header_id|>
You are helpful AI assistant<|eot_id|><|start_header_id|>user<|end_header_id|>
Translate this text from English to Russian:\n\n{text}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
Recommended settings
Очень рекомендуется использовать низкую температуру T=(0.1-0.3)
Не указывайте в system prompt задачу перевести этот текст, там должно быть что-то нейтральное (e.g You are a helpful AI assistant). Указывайте сообщение в user message (см. Prompt Template), модель была обучена именно под такой формат.
Benchmark Results
Оценка проводилась в течение 10-ти итераций, где моделям предлагалось перевести небольшой литературный текст с английского на русский. В качестве модели-судьи выступала Gemini 1.5 pro experimental
AVG:
| Критерий | Claude Sonnet 3.5 | Gemini 1.5 pro experiment | Gemini 1.5 Flash 8b | GPT4o mini | Gemma 27b | Mistral Nemo 12B | OmniLing-V1-8b |
|---|---|---|---|---|---|---|---|
| Точность | 9.1 | 8.6 | 7.4 | 7.7 | 7.6 | 7.0 | 8.0 |
| Стилистическое соответствие | 8.4 | 8.1 | 7.0 | 7.2 | 6.8 | 6.3 | 7.3 |
| Языковая грамотность | 9.3 | 8.9 | 7.9 | 8.2 | 7.6 | 7.0 | 8.3 |
| Передача культурных особенностей | 9.4 | 8.9 | 8.4 | 8.3 | 8.3 | 7.5 | 8.7 |
| Сохранение литературных приемов | 8.3 | 7.9 | 7.0 | 6.9 | 6.7 | 6.2 | 7.1 |
| Ритм и благозвучие | 8.3 | 7.9 | 7.0 | 7.2 | 7.0 | 6.5 | 7.3 |
| Сохранение атмосферы | 9.0 | 8.5 | 7.5 | 7.9 | 7.6 | 7.0 | 7.9 |
| Адекватность перевода идиом и фразеологизмов | 9.1 | 8.6 | 7.7 | 7.9 | 7.7 | 7.0 | 8.0 |
| Сохранение характеров персонажей | 9.1 | 8.9 | 8.3 | 8.5 | 8.2 | 7.3 | 8.4 |
| Целостность и связность текста | 9.3 | 9.0 | 8.2 | 8.5 | 8.1 | 7.4 | 8.4 |
| ИТОГО | 88.7 | 85.4 | 76.7 | 77.6 | 75.4 | 70.7 | 80.1 |
Полные итоги: https://huggingface.co/WoonaAI/OmniLing-1-8b/blob/main/ENG-RUS-Translation%20simple%20benchmark%20(full).md
Только таблицы всех итераций: https://huggingface.co/WoonaAI/OmniLing-1-8b/blob/main/ENG-RUS-Translation%20simple%20benchmark%20(only%20tables).md
Inference
Example of using model through Transformers library:
Authors
Made by PegasusYaY(AlexBefest) and secretmoon
License
This model is released under the Creative Commons Attribution-NonCommercial 4.0 International License. If you want to use this model in your commercial product, contact with us.