/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
3,7 млрд
Лицензия
MIT
Архитектура
mistral · dense
Библиотека
transformers
Опубликована
29 апр 2024

Phi-3-mini-4k-instruct-bnb-4bit

Генерация текстаТекст → текст14 профессий

Phi-3-mini-4k-instruct-bnb-4bit — инструкционная языковая модель семейства Phi, разработанная Microsoft AI и командой Phi и опубликованная в 4-битном формате квантования через Unsloth.

7 858скачиваний за 30 дней47лайковвеса обновлены3 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для диалоговых сценариев, генерации и завершения текста, а также для дообучения на собственных наборах данных с использованием Transformers и инструментов Unsloth.

Из доступных данных известно, что модель работает с английским языком и имеет контекстное окно на 4K токенов. Суффикс bnb-4bit указывает на 4-битное представление, ориентированное на снижение требований к памяти и запуск на более доступном оборудовании. README также указывает на поддержку дообучения и последующего экспорта в форматы GGUF и vLLM, однако точный размер модели, архитектура и результаты оценки для этой конкретной версии не приведены.

Сильными сторонами являются компактное квантованное представление и пригодность для локального запуска и экспериментов с дообучением. Ограничения включают заявленную языковую специализацию на английском, ограничение контекста 4K токенами и возможные потери качества, связанные с 4-битным квантованием. Модель распространяется по лицензии MIT.

Для каких профессий подходит14

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Reminder to use the dev version Transformers:

pip install git+https://github.com/huggingface/transformers.git

Finetune Phi-3.5, Llama 3.1, Mistral 2-5x faster with 70% less memory via Unsloth!

We have a free Google Colab Tesla T4 notebook for Phi-3.5 (mini) here: https://colab.research.google.com/drive/1lN6hPQveB_mHSnTOYifygFcrO8C1bxq4?usp=sharing

✨ Finetune for Free

All notebooks are beginner friendly! Add your dataset, click "Run All", and you'll get a 2x faster finetuned model which can be exported to GGUF, vLLM or uploaded to Hugging Face.

Unsloth supportsFree NotebooksPerformanceMemory use
Llama-3.1 8b▶️ Start on Colab2.4x faster58% less
Phi-3.5 (mini)▶️ Start on Colab2x faster50% less
Gemma-2 9b▶️ Start on Colab2.4x faster58% less
Mistral 7b▶️ Start on Colab2.2x faster62% less
TinyLlama▶️ Start on Colab3.9x faster74% less
DPO - Zephyr▶️ Start on Colab1.9x faster19% less

Special Thanks

A huge thank you to Microsoft AI and Phi team for creating and releasing these models.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
81453e5

0 моделей