Компактная дообученная модель Alamios, предназначенная для ускорения генерации Mistral Small методом speculative decoding.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Mistral-Small-3.1-DRAFT-0.5B — компактная языковая модель Alamios для ускорения генерации методом speculative decoding вместе с mistralai/Mistral-Small-3.1-24B-Instruct-2503 или mistralai/Mistral-Small-24B-Instruct-2501. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 475,3 млн параметров; она принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и диалоговый режим.
Модель дообучена на выводах Mistral по 20 тысячам примеров из различных наборов данных, включая разные типы задач; обучение охватило два прохода и 12 млн токенов на проход. В первую очередь это черновая модель для совместной работы с указанными моделями Mistral, а не самостоятельная замена им. В карточке указаны английский, французский, немецкий, испанский, итальянский и португальский языки. Лицензия — Apache-2.0.
Модель предназначена для использования как черновая модель в speculative decoding с указанными моделями Mistral; карточка не позиционирует её как самостоятельную замену им.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is meant to be used as draft model for speculative decoding with mistralai/Mistral-Small-3.1-24B-Instruct-2503 or mistralai/Mistral-Small-24B-Instruct-2501
The data are Mistral's outputs and includes all kind of tasks from various datasets in English, French, German, Spanish, Italian and Portuguese. It has been trained for 2 epochs on 20k unique examples, for a total of 12 million tokens per epoch.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…