This a ~90m assistant model for cameloid models like LLama/Alpaca/Vicuna/Guanaco that use the llama tokenizer, allowing for speedups up to 3x with greed sampling. Its trained on 5.5 billion tokens of refinedweb and uses the GPTBigcode architecture and has a context window: 1024. To use please see this article on assisted generation https://huggingface.co/blog/assisted-generation.
Характеристики
- Контекст
- 1 024 токена
- Лицензия
- bigcode-openrail-m
- Архитектура
- gpt_bigcode · dense
- Опубликована
- 12 июн 2023
Ссылки
protylopus
Protylopus — компактная GPTBigCode-модель для ускорения генерации текста в совместимых с токенизатором LLaMA моделях.
287скачиваний за 30 дней0лайковвеса обновлены12 июн 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Protylopus — компактная языковая модель примерно на 90 млн параметров, разработанная для ускорения генерации в моделях семейства LLaMA и совместимых с токенизатором LLaMA вариантах, включая Alpaca, Vicuna и Guanaco. Она использует архитектуру GPTBigCode и обучена на 5,5 млрд токенов из датасета Falcon RefinedWeb.
Модель предназначена для assisted generation: она помогает основной модели быстрее генерировать текст, а в README заявлено ускорение до трёх раз при жадном декодировании. Контекст модели составляет 1024 токена; поддерживаемый язык — английский. Репозиторий содержит веса PyTorch и распространяется по лицензии BigCode OpenRAIL-M.
Сценарии применения
- ускорение жадной генерации в моделях семейства LLaMA
- ускорение генерации в Alpaca, Vicuna и Guanaco
- использование как вспомогательной модели в assisted generation
Ограничения
Контекст ограничен 1024 токенами, а заявленное ускорение до трёх раз относится к жадному декодированию. Модель предназначена для использования вместе с совместимой основной моделью и токенизатором LLaMA.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022моделиII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- GPTBigCodeForCausalLM
- Ревизия весов
- 2e10fb9