Компактная дообученная модель семейства LLaMA для генерации текста и ускорения вывода крупных LLaMA- и Vicuna-моделей в режиме спекулятивного декодирования.
5 070скачиваний за 30 дней6лайковвеса обновлены15 янв 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
1
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
2
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
3
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Vicuna-68M — компактная языковая модель семейства LLaMA, разработанная как черновая модель для метода ускоренной генерации Small Speculative Model в статье MCSD. По README, модель дообучена на данных ShareGPT по схеме Vicuna и лучше согласуется с моделями Vicuna, чем исходная LLaMA-68M, при небольшом снижении согласованности с моделями LLaMA. Метаданные указывают архитектуру LlamaForCausalLM, 43,5 млн параметров и контекст до 2048 токенов.
Модель предназначена для генерации текста и использования в качестве черновой модели при спекулятивном декодировании совместно с более крупной целевой моделью. В README приведены сравнения совместимости с LLaMA-13/33B и Vicuna-13/33B. Модель принимает текст и генерирует текст; карточка ориентирована на английский язык.
Модель распространяется в формате safetensors по лицензии Apache-2.0. Компактный размер ограничивает её самостоятельные возможности по сравнению с крупными моделями; качество и совместимость зависят от выбранной целевой модели и сценария спекулятивного декодирования.
Сценарии применения
черновая генерация токенов для спекулятивного декодирования
ускорение вывода моделей LLaMA-13B и LLaMA-33B
ускорение вывода моделей Vicuna-13B и Vicuna-33B
эксперименты с малыми языковыми моделями, согласованными с Vicuna
Ограничения
Модель содержит значительно меньше параметров, чем целевые модели, и предназначена прежде всего для роли черновой модели. README отмечает небольшой компромисс в согласованности с LLaMA при лучшем согласовании с Vicuna.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
The model is mainly developed as a base Small Speculative Model in the MCSD paper. As a comparison, it can be better aligned to the Vicuna models than LLaMA-68m with little loss of alignment to the LLaMA models.
Draft Model
Target Model
Alignment
LLaMA-68/160M
LLaMA-13/33B
😃
LLaMA-68/160M
Vicuna-13/33B
😟
Vicuna-68/160M
LLaMA-13/33B
😃
Vicuna-68/160M
Vicuna-13/33B
😃
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров