take the mistral raw 7b model, and run SFT on it. 6000 epoch. take the mistral raw 7b model, and run SFT on it. 6000 epoch. take the mistral raw 7b model, and run SFT on it. 6000 epoch. take the mistral raw 7b model, and run SFT on it. 6000 epoch.
Характеристики
- Контекст
- 4 096 токенов
- Параметры
- 6,6 млрд
- Размер весов
- 13,5 ГБ
- Лицензия
- MIT
- Архитектура
- llama · dense
- Опубликована
- 8 янв 2024
Ссылки
mistral-7b-raw-sft
Текстовая модель на базе Mistral 7B, дообученная методом SFT для генерации текста.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
ewqr2130/mistral-7b-raw-sft — текстовая генеративная модель на архитектуре Llama с плотной архитектурой и 6,6 млрд параметров. Согласно карточке, автор провёл supervised fine-tuning модели Mistral 7B; указано 6000 эпох, но подробности обучения и его результаты не приведены.
Модель предназначена для генерации текста. Она принимает текст и выдаёт текст, с контекстом до 4096 токенов. Репозиторий содержит веса в формате safetensors. Поддерживаемые языки и специализированные предметные области в карточке не описаны.
Модель распространяется по лицензии MIT. Карточка не содержит сведений об оценке качества или ограничениях fine-tuning, поэтому пригодность для конкретных задач следует проверять отдельно.
Сценарии применения
- генерация продолжения текста
- составление черновиков и ответов
- эксперименты с дообучением языковых моделей
Ограничения
В карточке не приведены результаты оценки качества, обучающие данные и настройки SFT; качество и пригодность для конкретных сценариев не установлены.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- LlamaForCausalLM
- Ревизия весов
- e1b241a