Дообученная англоязычная модель Llama 3 на 7,5 млрд параметров, предназначенная как промежуточная основа для ролевых диалогов, историй и творческого письма.
25скачиваний за 30 дней7лайковвеса обновлены2 мая 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
1
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
2
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
3
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Llama3 8B Wordcel — дообученная модель на основе Meta Llama 3 8B Base, опубликованная пользователем jspr. Она задумана как промежуточный чекпойнт для дальнейшей адаптации к ролевым диалогам, написанию историй и творческим задачам. Обучение проводилось на составном наборе примерно из 100 млн токенов, включающем OpenHermes-2.5, задания на теорию разума и физическое рассуждение, классическую литературу и художественные тексты.
Модель использует плотную архитектуру LlamaForCausalLM и содержит 7,5 млрд параметров. Контекст — до 32 768 токенов; в README указано линейное масштабирование RoPE с коэффициентом 4. Карточка указывает английский язык. Модель генерирует текст и ориентирована на рассуждения, творческое письмо и межличностные сценарии.
Это промежуточная точка для создания более специализированных моделей, а не готовая узкоспециализированная система. README отмечает, что обученные на её основе производные модели должны обобщать работу на контексты до 32k токенов. Репозиторий распространяется по лицензии Apache-2.0; автор просит указывать атрибуцию при обучении производных моделей, а в README также сказано, что может применяться лицензия базовой Llama 3.
Сценарии применения
создание основы для дообучения модели под ролевые диалоги
генерация художественных историй и творческих текстов
создание персонажей с межличностными особенностями
генерация текста с рассуждениями на английском языке
Ограничения
Модель позиционируется как промежуточный чекпойнт для последующей специализации, поэтому её пригодность как готовой модели для конкретного приложения может быть ограничена. README предупреждает, что для производных моделей может применяться лицензия базовой Llama 3, и просит указывать атрибуцию.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Wordcel is a Llama3 fine-tune intended to be used as a mid-training checkpoint for more specific RP/storywriting/creative applications.
It has been trained from Llama3 8B Base on a composite dataset of ~100M tokens that highlights reasoning, (uncensored) stories, classic literature, and assorted interpersonal intelligence tasks.
It is trained at a context length of 32k tokens, using linear RoPE scaling with a factor of 4.0. Derivative models should be capable of generalizing to 32k tokens as a result.
If you train a model using this checkpoint, please give clear attribution! The Llama 3 base license likely applies.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров