Характеристики

Контекст: 32 768 токенов
Параметры: 7,1 млрд
Размер весов: 15,2 ГБ
Лицензия: Apache 2.0
Архитектура: qwen2 · dense
Библиотека: transformers
Опубликована: 6 июн 2024

Ссылки

Qwen2-7B-Instruct

Генерация текстаТекст → текст3 профессии

Производная модели unsloth/Qwen2-0.5B-Instruct. Компактная чат-модель Qwen2 с 494 млн параметров для генерации текста и диалоговых сценариев.

109скачиваний за 30 дней4лайкавеса обновлены3 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели unsloth/Qwen2-7B-Instruct на Hugging Face совпадает с карточкой unsloth/Qwen2-0.5B-Instruct, поэтому описание составлено по ней.

unsloth/Qwen2-0.5B-Instruct — компактная плотная языковая модель семейства Qwen2 от Alibaba, представленная в версии Unsloth. Она предназначена для генерации текста и диалогового общения; карточка указывает на поддержку чата. Модель содержит 494 млн параметров, использует архитектуру Qwen2ForCausalLM и принимает контекст до 32 768 токенов.

Модель может подойти для чат-ботов, прототипов и задач генерации текста, где важен небольшой размер модели. README описывает ноутбуки Unsloth для дообучения Qwen2, но не подтверждает конкретное дообучение именно этих весов. Репозиторий содержит веса в формате safetensors. Указана лицензия Apache 2.0. Основной язык в карточке — английский.

Сценарии применения

создание текстового чат-бота
генерация коротких текстов
прототипирование диалоговых приложений
эксперименты с небольшой языковой моделью

Ограничения

Размер в 494 млн параметров ограничивает возможности модели по сравнению с более крупными языковыми моделями. Карточка не приводит оценок качества или конкретных результатов бенчмарков.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Finetune Mistral, Gemma, Llama 2-5x faster with 70% less memory via Unsloth!

We have a Google Colab Tesla T4 notebook for Qwen2 7b here: https://colab.research.google.com/drive/1mvwsIQWDs2EdZxZQF9pRGnnOvE86MVvR?usp=sharing And a Colab notebook for Qwen2 0.5b and another for Qwen2 1.5b

✨ Finetune for Free

All notebooks are beginner friendly! Add your dataset, click "Run All", and you'll get a 2x faster finetuned model which can be exported to GGUF, vLLM or uploaded to Hugging Face.

Unsloth supports	Free Notebooks	Performance	Memory use
Llama-3 8b	▶️ Start on Colab	2.4x faster	58% less
Gemma 7b	▶️ Start on Colab	2.4x faster	58% less
Mistral 7b	▶️ Start on Colab	2.2x faster	62% less
Llama-2 7b	▶️ Start on Colab	2.2x faster	43% less
TinyLlama	▶️ Start on Colab	3.9x faster	74% less
CodeLlama 34b A100	▶️ Start on Colab	1.9x faster	27% less
Mistral 7b 1xT4	▶️ Start on Kaggle	5x faster*	62% less
DPO - Zephyr	▶️ Start on Colab	1.9x faster	19% less

This conversational notebook is useful for ShareGPT ChatML / Vicuna templates.
This text completion notebook is for raw text. This DPO notebook replicates Zephyr.
* Kaggle has 2x T4s, but we use 1. Due to overhead, 1x T4 is 5x faster.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2ForCausalLM
Ревизия весов: c10bd50