If anyone wants to make something of this be my guest, but this doesn't even output coherent text [that at least can be restored through fine tuning]. Llama-2-7B with KV heads shorn to 4 of 32.
Характеристики
- Контекст
- 4 096 токенов
- Параметры
- 5,7 млрд
- Размер весов
- 23,2 ГБ
- Лицензия
- Llama 2
- Архитектура
- llama · dense
- Опубликована
- 11 апр 2024
Ссылки
lesslobollama
Экспериментальный вариант Llama 2 7B с сокращённым числом KV-голов для генерации текста, который, по словам автора, пока не создаёт связный текст.
18скачиваний за 30 дней0лайковвеса обновлены20 апр 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
reallad/lesslobollama — экспериментальная плотная авторегрессионная модель семейства Llama, опубликованная автором reallad. Это вариант Llama 2 7B с сокращёнными до 4 KV-головами из 32; в метаданных указан размер 5,7 млрд параметров, контекст 4096 токенов и формат Safetensors. Модель предназначена для генерации текста, однако автор сообщает, что она не выдаёт связный текст и может потребовать дообучения для восстановления качества. Использование регулируется лицензией Llama 2.
Сценарии применения
- изучение влияния сокращения KV-голов в Llama 2
- эксперименты с дообучением языковой модели
- проверка генерации текста у изменённой архитектуры Llama
Ограничения
Автор сообщает, что модель не генерирует связный текст и для восстановления качества может потребоваться дообучение. В README не заявлена поддержка конкретных естественных языков.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модельII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- LlamaForCausalLM
- Ревизия весов
- a7075dd