/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
1 млрд
Лицензия
Apache 2.0
Архитектура
mistral · dense
Опубликована
19 апр 2024

mistral-1.1b-testing

Генерация текстаТекст → текст3 профессии

Экспериментальная базовая языковая модель Mistral примерно на 1 млрд параметров для генерации текста, не настроенная для диалогов.

425скачиваний за 30 дней1лайквеса обновлены19 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

optimum/mistral-1.1b-testing — экспериментальная плотная авторегрессионная языковая модель семейства Mistral с примерно 1 млрд параметров. По карточке, она создана на основе 3T base model: TinyLlama была адаптирована под архитектуру Mistral из-за проблем с обучением Llama с Flash Attention. Модель не настроена для диалогов и предназначена для генерации текста продолжением входного текста.

Контекст модели — до 32 768 токенов. Весовые файлы опубликованы в формате safetensors; модель помечена лицензией Apache-2.0. Автор предупреждает, что модель не проходила обширное тестирование, поэтому её качество и надёжность не следует считать установленными.

Сценарии применения

  • эксперименты с генерацией текста на компактной модели
  • продолжение заданного текстового фрагмента
  • оценка архитектуры Mistral на базе TinyLlama
  • исследовательские прогоны с языковой моделью на длинном контексте

Ограничения

Модель не настроена для чата и, по словам автора, не проходила обширное тестирование; качество и надёжность не подтверждены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mistralized tinyllama since flash attention training on llama w/ flash-attn is buggy.

it's based on the 3t base model (not chat tuned).

not extensively tested.

enjoy!

(model card is repeated due to open llm leaderboard length requirements)

mistralized tinyllama since flash attention training on llama w/ flash-attn is buggy.

it's based on the 3t base model (not chat tuned).

not extensively tested.

enjoy!

mistralized tinyllama since flash attention training on llama w/ flash-attn is buggy.

it's based on the 3t base model (not chat tuned).

not extensively tested.

enjoy!

mistralized tinyllama since flash attention training on llama w/ flash-attn is buggy.

it's based on the 3t base model (not chat tuned).

not extensively tested.

enjoy!

mistralized tinyllama since flash attention training on llama w/ flash-attn is buggy.

it's based on the 3t base model (not chat tuned).

not extensively tested.

enjoy!

mistralized tinyllama since flash attention training on llama w/ flash-attn is buggy.

it's based on the 3t base model (not chat tuned).

not extensively tested.

enjoy!

mistralized tinyllama since flash attention training on llama w/ flash-attn is buggy.

it's based on the 3t base model (not chat tuned).

not extensively tested.

enjoy!

mistralized tinyllama since flash attention training on llama w/ flash-attn is buggy.

it's based on the 3t base model (not chat tuned).

not extensively tested.

enjoy!

mistralized tinyllama since flash attention training on llama w/ flash-attn is buggy.

it's based on the 3t base model (not chat tuned).

not extensively tested.

enjoy!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
ce03bc8

0 моделей