Сокращённая по слоям 19-миллиардная версия Codestral для генерации текста и экспериментов с RAG при экономии памяти.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
TroyDoesAI/Codestral-RAG-19B-Pruned — сокращённая по числу слоёв версия Codestral, опубликованная TroyDoesAI. Это плотная авторегрессионная модель семейства Mistral с 18,9 млрд параметров, предназначенная для генерации текста; в названии и описании акцент сделан на использовании в сценариях RAG и экономии памяти при размещении модели, в том числе с выгрузкой части вычислений в системную память. Для работы заявлено контекстное окно 32 768 токенов, а веса опубликованы в формате safetensors.
Автор сообщает, что удалил четыре слоя из исходной модели на 22,2 млрд параметров и утверждает, что это не приводит к заметной потере качества. Независимые результаты оценки в карточке не приведены. Модель может подойти для локальных экспериментов с генерацией текста и ответами на запросы с контекстом, однако размер почти в 19 млрд параметров всё ещё требует значительных ресурсов. Лицензия в предоставленных данных не указана.
Автор не приводит независимых оценок качества, а утверждение об отсутствии заметной потери качества не подтверждено результатами тестов в карточке. Модель содержит 18,9 млрд параметров и требует значительных вычислительных ресурсов; лицензия не указана в предоставленных данных.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
For those trying to shoe horn this large model on your machine every GB of saved memory counts when offloading to System RAM!
Here is a pruned down the 22.2 Billion parameter model by 4 junk layers to make a 19B that doesnt appear to lose any sense of quality.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…