Дообученная CodeLlama-13B для генерации кода и экспериментов с ускорением вывода через SDSAT.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
ainergy/CodeLlama-SDSAT_L7_13B — дообученная модель ainergy на базе CodeLlama-13B, представленная как 13-миллиардная модель для работы SDSAT (ускорения вывода LLM с помощью speculative decoding и semantic adaptive tokens). Она предназначена для генерации кода и сценариев, где применяется этот подход к ускорению вывода.
Модель построена на плотной архитектуре LlamaForCausalLM, содержит 12,9 млрд параметров и поддерживает контекст до 16 384 токенов. Репозиторий содержит веса Safetensors; лицензия — Apache 2.0. Карточка указывает язык Code, поэтому естественный язык модели определить нельзя.
README не описывает метрики качества или конкретные языки программирования. Заявленное ускорение относится к подходу SDSAT; карточка не приводит количественных результатов для этой модели.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The 13B model of "SDSAT: Accelerating LLM Inference through Speculative Decoding with Semantic Adaptive Tokens"
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…