/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
1 млрд
Лицензия
Apache 2.0
Архитектура
llama · dense
Библиотека
transformers
Опубликована
14 фев 2024

tinyllama-chat

Генерация текстаТекст → текст5 профессий

Производная модели unsloth/llama-2-7b-chat. Разговорная модель на основе Llama 2 с 7 млрд параметров для генерации ответов и продолжения текста.

782скачиваний за 30 дней6лайковвеса обновлены3 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели unsloth/tinyllama-chat на Hugging Face совпадает с карточкой unsloth/llama-2-7b-chat, поэтому описание составлено по ней.

Unsloth предоставляет дообученную разговорную версию Llama 2 с 7 млрд параметров для генерации текста в формате диалога. Модель основана на архитектуре Llama и предназначена для чат-ответов и продолжения текста; README упоминает шаблоны ShareGPT ChatML и Vicuna. Максимальная длина контекста — 4096 токенов.

Модель принимает текст и выдаёт текст на английском языке. Репозиторий содержит веса Safetensors для использования с библиотекой Transformers. Лицензия — Apache 2.0. Доступная карточка описывает также сценарии дообучения, но не приводит подробностей о данных и конкретных изменениях весов.

Сценарии применения

  • чат-ответы на текстовые запросы
  • продолжение текста
  • создание диалогового ассистента на основе шаблонов ChatML или Vicuna

Ограничения

Контекст ограничен 4096 токенами. Карточка не описывает датасеты, качество ответов или конкретные ограничения поведения модели.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Finetune Mistral, Gemma, Llama 2-5x faster with 70% less memory via Unsloth!

✨ Finetune for Free

All notebooks are beginner friendly! Add your dataset, click "Run All", and you'll get a 2x faster finetuned model which can be exported to GGUF, vLLM or uploaded to Hugging Face.

Unsloth supportsFree NotebooksPerformanceMemory use
Gemma 7b▶️ Start on Colab2.4x faster58% less
Mistral 7b▶️ Start on Colab2.2x faster62% less
Llama-2 7b▶️ Start on Colab2.2x faster43% less
TinyLlama▶️ Start on Colab3.9x faster74% less
CodeLlama 34b A100▶️ Start on Colab1.9x faster27% less
Mistral 7b 1xT4▶️ Start on Kaggle5x faster*62% less
DPO - Zephyr▶️ Start on Colab1.9x faster19% less

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
e25260e

0 моделей