Характеристики

Контекст: 32 768 токенов
Параметры: 7,2 млрд
Размер весов: 14,7 ГБ
Лицензия: CC BY-NC 4.0
Архитектура: mistral · dense
Опубликована: 24 мар 2024

Ссылки

K2S3-Mistral-7b-v1.1

Генерация текстаТекст → текст7 профессий

Дообученная на инструкционных данных модель Mistral с 7,2 млрд параметров для генерации текста и ответов на английском и корейском языках.

60скачиваний за 30 дней0лайковвеса обновлены24 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

K2S3-Mistral-7b-v1.1 — текстовая генеративная модель, разработанная K2S3 на основе mistralai/Mistral-7B-v0.1. Это плотная авторегрессионная модель семейства Mistral с 7,2 млрд параметров и контекстом до 32 768 токенов; веса опубликованы в формате safetensors.

Модель дообучена полным обновлением параметров методом SFT на данных alpaca-gpt4-data и выборках из OpenOrca. Она предназначена для генерации текста и ответов на запросы в формате инструкций. В карточке заявлены английский и корейский языки.

Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Качество и надёжность ответов могут различаться; сведения о специализированной предметной области или дополнительных гарантиях качества в карточке не приведены.

Сценарии применения

генерация текста по заданной инструкции
ответы на вопросы на английском языке
ответы на вопросы на корейском языке
суммаризация предоставленного текста
черновое составление текстов по запросу

Ограничения

Лицензия CC BY-NC 4.0 запрещает коммерческое использование. Как и другие генеративные модели, может выдавать неточные или вымышленные сведения.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Developed by :

K2S3

Model Number:

K2S3-Mistral-7b-v1.1

Base Model :

mistralai/Mistral-7B-v0.1

Training Data

The training data for this model includes alpaca-gpt4-data, and samples from The OpenOrca Dataset.
이 모델의 훈련 데이터에는 alpaca-gpt4-data, 그리고 OpenOrca Dataset에서 제공한 샘플들이 포함됩니다.

Training Method

This model was fine-tuned on the "mistralai/Mistral-7B-v0.1" base model using a full parameter tuning method with SFT (Supervised Fine-Tuning).
이 모델은 "mistralai/Mistral-7B-v0.1" 기반 모델을 SFT를 사용하여 전체 파라미터 조정 방법으로 미세조정되었습니다.

Hardware

Hardware: Utilized two A100 (80G*2EA) GPUs for training.
Training Factors: This model was fine-tuned with SFT, using the HuggingFace SFTtrainer and applied fsdp.
이 모델은 SFT를 사용하여 HuggingFace SFTtrainer와 fsdp를 적용하여 미세조정되었습니다.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: MistralForCausalLM
Ревизия весов: 0f7e1ed