Экспериментальная 10,6-миллиардная модель Mistral, собранная из срезов Mistral-7B и предназначенная для дальнейшей настройки и генерации текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
BigMistral-11b — экспериментальная плотная авторегрессионная языковая модель семейства Mistral от athirdpath. Она собрана по рецепту NeverSleep из двух срезов слоёв Mistral-7B-v0.1: слоёв 0–24 и 8–32; в README указан метод объединения passthrough. Модель содержит 10,6 млрд параметров, работает с текстом и имеет контекст до 32 768 токенов.
Модель предназначена как базовый чекпойнт для дальнейшей тонкой настройки и генерации текста. Автор описывает её потенциал как обещающий, но отмечает, что для практического использования требуется дообучение и что качество пока уступает ожиданиям. Репозиторий содержит веса safetensors; лицензия — Apache-2.0.
В README указано, что модели требуется тонкая настройка; автор характеризует её качество как экспериментальное и отмечает, что она уступает ожиданиям.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
EDIT: Base Mistral, but with some minor head trauma. Promising in theory, needs finetuning, but only really outperforms the 14b in size.
A 11b Mistral base model, based on the NeverSleep recipe.
slices
sources:
sources:
merge_method: passthrough
dtype: bfloat16
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…