Компактная модель Vicuna на 137,8 млн параметров для генерации текста и использования как черновой модели в экспериментах со спекулятивным декодированием.
74скачиваний за 30 дней2лайкавеса обновлены15 янв 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
1
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
2
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
3
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
double7/vicuna-160m — компактная языковая модель, разработанная как модель семейства Vicuna для экспериментов с ускорением генерации. Она дообучена на базе LLaMA-160m на данных ShareGPT; обучение следует подходу Vicuna. Модель содержит 137,8 млн параметров, использует плотную архитектуру LLaMA и рассчитана на контекст до 2048 токенов.
Основное назначение модели — быть небольшой черновой моделью (Small Speculative Model) в рамках исследования MCSD. Она предназначена для генерации текста и, согласно карточке, может лучше согласовываться с моделями Vicuna, чем LLaMA-160m, сохраняя при этом часть согласованности с моделями LLaMA. Метаданные указывают английский язык и формат safetensors. Лицензия — Apache-2.0. Карточка не приводит оценок качества или подробностей о применении вне экспериментального сценария.
Сценарии применения
черновая генерация токенов для спекулятивного декодирования
эксперименты с ускорением генерации больших языковых моделей
генерация текста на английском языке
Ограничения
Модель имеет 137,8 млн параметров и контекст 2048 токенов, поэтому её возможности ограничены по сравнению с крупными языковыми моделями. Карточка не приводит количественных оценок качества и описывает прежде всего экспериментальное применение в качестве черновой модели.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
The model is mainly developed as a base Small Speculative Model in MCSD paper. As a comparison, it can be better aligned to the Vicuna models than LLaMA-160m with little loss of alignment to the LLaMA models.
Draft Model
Target Model
Alignment
LLaMA-68/160M
LLaMA-13/33B
😃
LLaMA-68/160M
Vicuna-13/33B
😟
Vicuna-68/160M
LLaMA-13/33B
😃
Vicuna-68/160M
Vicuna-13/33B
😃
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров