Характеристики

Контекст: 4 096 токенов
Параметры: 7 млрд
Размер весов: 15,1 ГБ
Лицензия: Apache 2.0
Архитектура: llama · dense
Базовая модель: Viking-7B
Опубликована: 23 авг 2024

Ссылки

Hugging Face

Viking-Magnum-v0.1-7B

mpasila

Генерация текстаТекст → текст3 профессии

Диалоговая Llama-модель на 7 млрд параметров для генерации ответов и ролевых сцен, дообученная на Viking-7B.

30скачиваний за 30 дней3лайкавеса обновлены24 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Viking-Magnum-v0.1-7B — диалоговая языковая модель на архитектуре Llama, разработанная mpasila и дообученная на базе LumiOpen/Viking-7B. Модель содержит 7 млрд параметров, использует формат чата ChatML и рассчитана на контекст до 4096 токенов.

Модель предназначена для генерации диалоговых ответов и ролевых сцен. Для дообучения применялись обычный LoRA с рангом 128 и alpha 128, один проход по данным, а также наборы Magnum-V2-Mix и датасеты Anthracite. Автор отмечает, что модель может нуждаться в дополнительной настройке на инструкционных данных для улучшения следования инструкциям. Лицензия — Apache-2.0.

Сценарии применения

генерация диалоговых ответов в формате ChatML
создание ролевых сцен и персонажных диалогов
настройка чат-бота на базе Viking-7B
эксперименты с генерацией текста на финском и скандинавских языках

Ограничения

Автор отмечает, что для лучшего следования инструкциям модели может потребоваться дополнительное обучение на инструкционных данных. Контекст модели составляет 4096 токенов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

It seems fine but I should probably add some instruction prompts to the dataset or train it with a instruct dataset first and then train it with the RP stuff to make it better.

Prompt format is: ChatML

LoRA: mpasila/Viking-Magnum-v0.1-LoRA-7B

Another thing to note is this was trained with regular LoRA (not quantized/QLoRA) so it should improve the quality a bit. This model's context length is only 4096 so it's trained on that too but I think you can use RoPE with it.

LoRA rank was 128 and Alpha set to the same. Trained for 1 epoch.

Uploaded model

Developed by: mpasila
License: apache-2.0
Finetuned from model : LumiOpen/Viking-7B

This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 4991602