Характеристики

Контекст: 131 072 токена
Параметры: 69,5 млрд
Размер весов: 141 ГБ
Лицензия: Llama 3.1
Архитектура: llama · dense
Библиотека: transformers
Опубликована: 3 авг 2024

Ссылки

Hugging Face

L3.1-70b-glitz-v0.2

Fizzarolli

Генерация текстаТекст → текст4 профессии

Экспериментальная 70-миллиардная донастройка Llama 3.1 для диалоговой и ролевой генерации текста.

23скачиваний за 30 дней2лайкавеса обновлены3 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Fizzarolli/L3.1-70b-glitz-v0.2 — экспериментальная донастройка модели семейства Llama 3.1 с 69,5 млрд параметров, выпущенная автором Fizzarolli. Обучение прервалось из-за сбоя, но автор опубликовал полученный чекпойнт как представляющий интерес эксперимент. Модель предназначена для генерации текста в диалоговом и ролевом форматах; автор рекомендует использовать формат запросов Llama 3 Instruct. Контекстное окно составляет 131 072 токена.

Для дообучения использовалась смесь синтетических данных Claude из разных областей и SystemChat. Модель распространяется в формате safetensors по лицензии Llama 3.1. Из-за прерванного обучения качество и устойчивость результатов могут быть непредсказуемыми.

Сценарии применения

ведение диалогов с моделью в формате Llama 3 Instruct
генерация ролевых ответов и сцен
создание текстовых ответов на запросы в разных областях

Ограничения

Обучение модели прервалось из-за сбоя, поэтому качество и стабильность ответов могут быть непредсказуемыми. Для промптов рекомендуется формат Llama 3 Instruct.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Glitz v0.2 ✨💅

art by spindlehorse toons. i do not own this image. all credit goes to them!

compute sponsored by ShuttleAI

details

this is an experimental l3.1 70b finetuning run... that crashed midway through. however, the results are still interesting, so i wanted to publish them :3

prompting

use l3 instruct. not writing an example, almost everything supports it by now and i don't feel like remembering the stupid tags

datasets

a mix of publicly available claude synth data in various domains, mostly. also systemchat but i refuse to credit cognitive computations for anything decent so forget i said it

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: a2d89c8