/ Модель

Характеристики

Контекст
1 024 000 токенов
Параметры
12,1 млрд
Лицензия
Apache 2.0
Архитектура
mistral · dense
Библиотека
transformers
Опубликована
20 июл 2024

Mistral-Nemo-Instruct-2407-GGUF

Генерация текстаТекст → текст14 профессий

Unsloth/Mistral-Nemo-Instruct-2407-GGUF — это GGUF-версия инструкционной модели Mistral Nemo, опубликованная Unsloth.

1 972скачиваний за 30 дней11лайковвеса обновлены20 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для запуска в совместимых средах, поддерживающих формат GGUF, а также для диалоговых сценариев, генерации текста и выполнения инструкций. В README указано, что она связана с экосистемой Transformers и поддерживает английский язык.

Из доступных данных следует, что модель относится к семейству Mistral Nemo и имеет размер 12B параметров, однако сведения о точной архитектуре, максимальном контексте, модальностях и конкретных вариантах квантования отсутствуют. Формат GGUF удобен для локального инференса и последующей работы с оптимизированными представлениями модели, но характеристики скорости и потребления памяти зависят от используемого варианта файла и программного окружения.

Модель может быть полезна для локальных чат-ботов, ассистентов и экспериментов с дообучением: README описывает инструменты Unsloth для более быстрого fine-tuning с меньшим потреблением памяти и экспортом в GGUF. При этом заявленные ускорение и экономия памяти относятся к процессу дообучения в Unsloth, а не обязательно к инференсу этой конкретной модели. Лицензия — Apache-2.0.

Для каких профессий подходит14

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

GGUF uploads

Finetune Mistral, Gemma, Llama 2-5x faster with 70% less memory via Unsloth!

We have a free Google Colab Tesla T4 notebook for Mistral Nemo 12b here: https://colab.research.google.com/drive/17d3U-CAIwzmbDRqbZ9NnpHxCkmXB6LZ0?usp=sharing

✨ Finetune for Free

All notebooks are beginner friendly! Add your dataset, click "Run All", and you'll get a 2x faster finetuned model which can be exported to GGUF, vLLM or uploaded to Hugging Face.

Unsloth supportsFree NotebooksPerformanceMemory use
Llama-3 8b▶️ Start on Colab2.4x faster58% less
Gemma 7b▶️ Start on Colab2.4x faster58% less
Mistral 7b▶️ Start on Colab2.2x faster62% less
Llama-2 7b▶️ Start on Colab2.2x faster43% less
TinyLlama▶️ Start on Colab3.9x faster74% less
CodeLlama 34b A100▶️ Start on Colab1.9x faster27% less
Mistral 7b 1xT4▶️ Start on Kaggle5x faster*62% less
DPO - Zephyr▶️ Start on Colab1.9x faster19% less

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Класс архитектуры
MistralForCausalLM
Ревизия весов
6ce5144

0 моделей