Характеристики

Контекст: 4 096 токенов
Параметры: 7 млрд
Размер весов: 15,1 ГБ
Лицензия: Apache 2.0
Архитектура: llama · dense
Базовая модель: Viking-7B
Опубликована: 25 авг 2024

Ссылки

Viking-SlimSonnet-v0.2-7B

Генерация текстаТекст → текст3 профессии

Экспериментальная 7B чат-модель на базе Viking-7B для генерации текста, опубликованная автором как неудачный чекпойнт с ошибкой форматирования данных.

28скачиваний за 30 дней2лайкавеса обновлены28 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mpasila/Viking-SlimSonnet-v0.2-7B — экспериментальная чат-модель на архитектуре Llama с 7 млрд параметров, дообученная на LumiOpen/Viking-7B. Автор — mpasila. Модель обучалась с помощью LoRA rank 128 и alpha 32 на данных Gryphe/Sonnet3.5-SlimOrcaDedupCleaned и mpasila/Sonnet3.5-SlimOrcaDedupCleaned-4k-context; формат диалога — ChatML. Контекст составляет 4096 токенов. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

Модель предназначена для генерации текста в диалоговом формате. Автор сообщает, что датасет был неправильно отформатирован и обучение выполнено некорректно; этот чекпойнт опубликован как тестовая неудачная версия, а следующая версия должна исправить проблему. Поэтому качество ответов может быть ненадёжным.

Сценарии применения

эксперименты с генерацией текста в формате ChatML
проверка поведения чат-модели на диалоговых запросах
оценка влияния дообучения на датасете SlimOrca

Ограничения

Автор указывает, что данные были неправильно отформатированы, поэтому обучение прошло некорректно, а качество модели может быть ненадёжным. Обучение охватило 5000 шагов, или около 0,11 эпохи.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is a test model because the previous attempt failed. So it turns out I also trained this incorrectly due to the dataset using wrongly formatted ShareGPT so after I trained it again "correctly" for another full epoch I noticed that so.. I will have to train it yet again.. but at least now it should be fixed. But this model is using the wrongly formatted dataset. The next model should be better.

Prompt format is: ChatML

LoRA: mpasila/Viking-SlimSonnet-v0.2-LoRA-7B

Trained with regular LoRA (not quantized/QLoRA) and LoRA rank was 128 and Alpha set to 32. Trained for 5000 steps (0.11 epoch).

Uploaded model

Developed by: mpasila
License: apache-2.0
Finetuned from model : LumiOpen/Viking-7B

This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 8624ed0