/ Модель
Каталог

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
14,5 ГБ
Лицензия
MIT
Архитектура
mistral · dense
Базовая модель
0.0001_zephyr_5551_4iters_bs256_iter_2
Опубликована
14 мая 2024

Ссылки

Hugging Face

0.0001_zephyr_5551_4iters_bs256_iter_3

ShenaoZhang
Генерация текстаТекст → текст

Диалоговая модель на архитектуре Mistral для генерации текста, дообученная на обновлённом и исходном наборах данных.

15скачиваний за 30 дней0лайковвеса обновлены14 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ShenaoZhang/0.0001_zephyr_5551_4iters_bs256_iter_3 — диалоговая языковая модель, дообученная на базе ShenaoZhang/0.0001_zephyr_5551_4iters_bs256_iter_2 на обновлённом и исходном наборах данных. Она предназначена для генерации текста в чате и имеет архитектуру Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Репозиторий содержит веса в формате safetensors.

Модель распространяется по лицензии MIT. Карточка не приводит результатов оценки и не описывает конкретные области применения или ограничения; качество и поведение следует проверять на целевых сценариях.

Сценарии применения

  • генерация ответов в диалоге
  • подготовка черновиков текстов по запросу
  • продолжение заданного текста

Ограничения

В карточке нет описания оценки качества или конкретных ограничений, поэтому поведение модели следует проверять для целевых сценариев.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

0.0001_zephyr_5551_4iters_bs256_iter_3

This model is a fine-tuned version of ShenaoZhang/0.0001_zephyr_5551_4iters_bs256_iter_2 on the updated and the original datasets.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-07
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • distributed_type: multi-GPU
  • num_devices: 8
  • gradient_accumulation_steps: 4
  • total_train_batch_size: 256
  • total_eval_batch_size: 64
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: cosine
  • lr_scheduler_warmup_ratio: 0.1
  • num_epochs: 1

Training results

Framework versions

  • Transformers 4.40.2
  • Pytorch 2.1.2+cu121
  • Datasets 2.14.6
  • Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
5586166

0 моделей

    Создать бенчмарк