Model Card for Model ID
Model Details
GGUF's: special thanks to secretmoon for imatrix ggufs! Download imatrix: https://huggingface.co/secretmoon/WoonaV1.2-9b-GGUF-Imatrix
And thanks to mradermacher! Download: https://huggingface.co/mradermacher/WoonaV1.2-9b-GGUF
QuantFactory: https://huggingface.co/QuantFactory/WoonaV1.2-9b-GGUF
Absolutely recommend set temperature to 0.3 - 0.5
Single language russian model. English comming soon....
Model Description
The training was conducted based on gemma 9b it. This model was trained on a vast amount of augmented synthetic Russian-language data, using the My Little Pony: FIM fandom wiki as a foundation. The goal of this model is to provide a basic foundation for use in tasks related to My Little Pony: FIM. Primarily, it's focused on navigating the canonical basics of the series and other tasks requiring a deep understanding of everything related to the MLP world. For example, it can be used for advising fanfiction writers and quickly searching for canonical information. Woona can also be used as a basis for role-playing games, as it has excellent knowledge of 80-90% of all characters presented in the series (even the most unpopular ones with less than a minute of screen time), and it has a thorough understanding of the series' plot, world structure, and setting.
This model represents a basic foundation with all the necessary knowledge about the My Little Pony: FIM world. It would be ideal for further fine-tuning on more specialized tasks (role-playing, story writing, translating foreign MLP fanfiction, and so on).
This is my first successful model, and it came as a huge surprise to me that it surpasses such giant models as gpt4o-latest, gemini 1.5 pro experiment, and grok2 in canonical knowledge of the series. A benchmark was conducted over 15 iterations to identify the model's capabilities in the field of My Little Pony in Russian. Gemini 1.5 pro experiment with mlp.fandom.wiki articles in context served as the judge model.
AVG:
| Evaluation Criterion | Gemini 1.5 Pro Experiment | GPT4O-Latest | Grok2(2024-08-13) | WoonaV1.2_9b | gemma2_27b_it | gemma2_9b_it | llama3.1_8b |
|---|---|---|---|---|---|---|---|
| Accuracy (1-10) | 7.00 | 7.40 | 6.93 | 8.13 | 3.40 | 2.47 | 1.27 |
| Completeness (1-10) | 6.13 | 6.87 | 6.33 | 7.87 | 3.53 | 2.47 | 1.27 |
| Relevance (1-10) | 7.40 | 7.47 | 6.47 | 8.80 | 4.33 | 3.00 | 1.33 |
| Detail (1-10) | 5.53 | 6.40 | 5.67 | 7.40 | 3.67 | 2.47 | 1.40 |
| Terminology (1-10) | 7.93 | 8.13 | 7.87 | 8.73 | 5.27 | 4.20 | 1.87 |
| Contextuality (1-10) | 6.47 | 7.00 | 6.27 | 8.00 | 3.73 | 2.67 | 1.27 |
| Relevance (1-10) | 8.73 | 8.80 | 8.40 | 9.00 | 6.00 | 4.33 | 1.80 |
| Lack of contradictions (1-10) | 7.53 | 7.93 | 7.33 | 8.53 | 4.07 | 2.87 | 1.47 |
| Structure (1-10) | 8.00 | 8.13 | 7.40 | 7.87 | 5.60 | 4.13 | 2.47 |
| Coherence and consistency (1-10) | 7.80 | 8.00 | 7.33 | 7.93 | 5.47 | 4.00 | 2.33 |
| Total AVG | 72.53 | 76.13 | 69.67 | 82.27 | 45.07 | 32.60 | 16.47 |
You can familiarize yourself with the detailed log here (tables only): https://huggingface.co/AlexBefest/SaveModel/blob/main/Pony%20knowlege%20benchmark%20(tables).md Full report: https://huggingface.co/AlexBefest/SaveModel/blob/main/Pony%20knowlege%20benchmark%20(full).md
Note
Data about actors, directors, and any staff who worked on the series was removed. Also, any information not directly related to the world of My Little Pony was removed. In addition, information from Equestria Girls, Pony Life, and comic book issues was almost completely removed. However, I still have to say that this model is far from the ideal I'm striving for. It can still confuse you with hallucinations, like any other neural network in this world
Model Description
Тренировка проводилось на основе gemma 9b it. Эта модель обучена на огромном количестве аугментированных синтетических русскоязычных данных, беря за основу вики по фандому My Little Pony: FIM. Цель данной модели - получить некую базовую основу для использования в задачах, связанных с My Little Pony: FIM. В первую очередь - ориентирование в канонических основах сериала и прочих задачах, требующие глубокого понимания всего, что связано с миром MLP. Например, для консультирования фикрайтеров и быстрого поиска канонической информации. Woona также можно использовать как основу для ролевых игр, ибо она отлично разбирается в 80-90% всех представленных персонажей в сериале (даже самых непопулярных, чьё экранное время может быть меньше минуты), а также она прекрасно разбирается в сюжете сериала, в устройстве мира и сеттинге.
Эта модель представляет собой базовый фундамент со всеми необходимыми знаниями о мире My Little Pony: FIM, она идеально подошла бы для дальнейшего дообучения на более узкие специализированные задачи (РП, написание историй, переводы иностранных фиков по MLP и так далее).
Это моя первая успешная модель, и для меня стало огромным сюрпризом, что она превосходит в канонических знаниях сериала такие гигантские модели, как gpt4o-latest, gemini 1.5 pro experiment и grok2. Был проведён бенчмарк на 15-ти итерациях для выявления способности модели в сфере My Little Pony на русском языке. В качестве модели-судьи выступала Gemini 1.5 pro experiment со статьями mlp.fandom.wiki в контексте.
AVG:
| Критерий оценки | Gemini 1.5 Pro Experiment | GPT4O-Latest | Grok2(2024-08-13) | WoonaV1.2_9b | gemma2_27b_it | gemma2_9b_it | llama3.1_8b |
|---|---|---|---|---|---|---|---|
| Точность (1-10) | 7.00 | 7.40 | 6.93 | 8.13 | 3.40 | 2.47 | 1.27 |
| Полнота (1-10) | 6.13 | 6.87 | 6.33 | 7.87 | 3.53 | 2.47 | 1.27 |
| Релевантность (1-10) | 7.40 | 7.47 | 6.47 | 8.80 | 4.33 | 3.00 | 1.33 |
| Детализация (1-10) | 5.53 | 6.40 | 5.67 | 7.40 | 3.67 | 2.47 | 1.40 |
| Терминология (1-10) | 7.93 | 8.13 | 7.87 | 8.73 | 5.27 | 4.20 | 1.87 |
| Контекстуальность (1-10) | 6.47 | 7.00 | 6.27 | 8.00 | 3.73 | 2.67 | 1.27 |
| Актуальность (1-10) | 8.73 | 8.80 | 8.40 | 9.00 | 6.00 | 4.33 | 1.80 |
| Отсутствие противоречий (1-10) | 7.53 | 7.93 | 7.33 | 8.53 | 4.07 | 2.87 | 1.47 |
| Структурированность (1-10) | 8.00 | 8.13 | 7.40 | 7.87 | 5.60 | 4.13 | 2.47 |
| Связность и последовательность (1-10) | 7.80 | 8.00 | 7.33 | 7.93 | 5.47 | 4.00 | 2.33 |
| Total AVG | 72.53 | 76.13 | 69.67 | 82.27 | 45.07 | 32.60 | 16.47 |
С подробным логом вы можете ознакомиться тут (только таблицы): https://huggingface.co/SlerpE/SaveModel/blob/main/Pony%20knowlege%20benchmark%20(tables).md Полный отчёт: https://huggingface.co/SlerpE/SaveModel/blob/main/Pony%20knowlege%20benchmark%20(full).md
Примечание
Были вырезаны данные о актёрах, режиссёрах, любых сотрудниках, работавших над сериалом. Также была вырезана любая информация, не касающаяся, непосредственно, мира My Little Pony. Ко всему прочему, была почти полностью вырезана информация из Equestria Girls, Pony Life и комиксных выпусков. Однако, я всё равно должен сказать, что данная модель далека от идеала, к которому я стремлюсь. Она по-прежнему может путать вас галлюцинациями, как и любая другая нейросеть в этом мире.