/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
14,5 ГБ
Архитектура
mistral · dense
Опубликована
3 ноя 2023

Mistral-7B-v0.1-sharded

Генерация текстаТекст → текст4 профессии

Разбитая на файлы до 2 ГБ копия Mistral-7B-v0.1 для генерации текста с контекстом до 32 768 токенов.

15скачиваний за 30 дней0лайковвеса обновлены3 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

kkboy1/Mistral-7B-v0.1-sharded — это копия модели Mistral-7B-v0.1, опубликованная в виде файлов весов размером до 2 ГБ каждый, чтобы снизить требования к оперативной памяти при загрузке. Модель разработана на архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; это плотная авторегрессионная языковая модель для генерации текста с контекстом до 32 768 токенов.

Модель принимает текст и генерирует продолжение, поэтому подходит для создания текстов и экспериментов с генерацией на базе Mistral. В карточке описано сохранение весов в формате PyTorch с точностью float16; это разбиение на шарды, а не изменение самой модели. README и метаданные не сообщают сведений о лицензии и поддерживаемых естественных языках.

Сценарии применения

  • генерация продолжения текста
  • создание черновиков и коротких текстов
  • эксперименты с языковой моделью Mistral
  • загрузка весов Mistral с меньшим пиком использования оперативной памяти

Ограничения

README не приводит оценки качества, специальные сценарии или языковые характеристики модели. Разбиение весов уменьшает требования к памяти при загрузке, но само по себе не уменьшает вычислительные требования при генерации.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Just a version of https://huggingface.co/mistralai/Mistral-7B-v0.1 which is sharded to 2GB as to reduce the ram required when loading.

original_base_model: MistralForCausalLM = AutoModelForCausalLM.from_pretrained( pretrained_model_name_or_path="mistralai/Mistral-7B-v0.1", device_map="auto", torch_dtype=torch.float16, offload_folder="offload", trust_remote_code=True, low_cpu_mem_usage=True )

original_base_model.save_pretrained( save_directory="kkboy1/Mistral-7B-v0.1-sharded", max_shard_size="2GB", push_to_hub=True )

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
1d6658d

0 моделей