Прореженная 21-миллиардная модель на архитектуре Mistral для генерации текста и кода с уменьшенным числом слоёв.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
TroyDoesAI/Codestral-21B-Pruned — прореженная версия Codestral, созданная TroyDoesAI. Из исходной модели удалены два слоя: автор сообщает, что размер сократился с 22,2 до 21,5 млрд параметров без заметной потери качества. Метаданные указывают 21,3 млрд параметров, архитектуру MistralForCausalLM и контекст до 32 768 токенов.
Модель предназначена для генерации текста и кода, в том числе для локального запуска при ограниченной памяти. Репозиторий содержит веса Safetensors для библиотеки Transformers. Указана лицензия Apache-2.0. Карточка не приводит результатов тестов, поэтому заявление о сохранении качества не подтверждено сравнительными оценками.
Автор заявляет, что удаление двух слоёв не привело к заметной потере качества, но сравнительные тесты в карточке не приведены. Для запуска модели на 21,3 млрд параметров требуется значительный объём памяти, хотя прореживание призвано его сократить.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
For those trying to shoe horn this large model on your machine every GB of saved memory counts when offloading to System RAM!
Here is a pruned down the 22.2 Billion parameter model by 2 junk layers to make a 21.5B that doesnt appear to lose any sense of quality.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…