/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
14,5 ГБ
Лицензия
CC BY-NC 4.0
Архитектура
mistral · dense
Базовая модель
multi_verse_model
Опубликована
8 мар 2024

SHRDFU-7b-gamma

Генерация текстаТекст → текст4 профессии

SHRDFU-7b Γ — дообученная модель Mistral для генерации английского текста и экспериментальных задач рассуждения.

20скачиваний за 30 дней0лайковвеса обновлены8 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SHRDFU-7b Γ — языковая модель, разработанная maldv и дообученная на базе ammarali32/multi_verse_model. Это плотная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и экспериментов с улучшением рассуждений и решения задач; при дообучении использовался датасет maldv/crabcanon, а также настройка слоёв внимания и небольшое полное дообучение слоёв.

Модель поддерживает контекст до 32 768 токенов и рассчитана на английский язык. Распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Сценарии применения

  • генерация английского текста по запросу
  • ответы на вопросы на английском языке
  • эксперименты с рассуждением языковой модели
  • решение текстовых задач на английском языке

Ограничения

Автор отмечает, что в использованном датасете есть как полезные, так и слабые примеры, а модель рассматривается как промежуточный эксперимент. Коммерческое использование ограничено лицензией CC BY-NC 4.0.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SHRDFU-7b Γ

  • Developed by: maldv
  • License: cc-by-nc-4.0
  • Finetuned from model: ammarali32/multi_verse_model
  • Methodology: Targeting attention layers with peft to condition; then small full layer tuning; extending intelligence and problem solving w/ crabcanon

As I work on understanding how to layer information in to the model, this dataset has some good parts and bad. I think one or two more experiments and I move on.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
9ab178d

0 моделей