Характеристики

Контекст: 1 024 токена
Параметры: 76,6 млн
Лицензия: Apache 2.0
Архитектура: llama · dense
Базовая модель: smol_llama-101M-GQA
Опубликована: 28 дек 2023

Ссылки

Hugging Face

Smol-Llama-101M-Chat-v1

Felladrin

Генерация текстаТекст → текст3 профессии

Компактная англоязычная чат-модель Llama для генерации текста и коротких диалогов.

51скачиваний за 30 дней9лайковвеса обновлены26 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Felladrin/Smol-Llama-101M-Chat-v1 — компактная чат-модель на архитектуре Llama, созданная на основе BEE-spoke-data/smol_llama-101M-GQA и дообученная на наборах инструкций и диалогов, включая SlimOrca-Dedup, open-instruct, Capybara и UltraChat. Модель предназначена для генерации текста в ответ на сообщения пользователя и простых диалоговых сценариев; для общения README рекомендует формат с ролями system, user и assistant.

В метаданных указано 76,6 млн параметров и контекст до 1024 токенов. Модель работает с текстом на английском языке и распространяется в формате Safetensors; README также ссылается на версии в GGUF, ONNX и MLC. В опубликованной таблице оценки указаны среднее значение 28,73, 22,87 на AI2 Reasoning Challenge и 28,69 на HellaSwag. Лицензия — Apache-2.0. Из-за компактного размера и ограниченного контекста модель подходит прежде всего для коротких диалогов; приведённые результаты бенчмарков не гарантируют качество для сложных рассуждений или широкого круга задач.

Сценарии применения

ответы на короткие вопросы в чате
генерация текста по инструкции
создание простого чат-бота на английском языке

Ограничения

Контекст ограничен 1024 токенами; компактный размер модели может ограничивать качество на сложных задачах. Приведённые в README оценки относятся лишь к нескольким бенчмаркам.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

A Llama Chat Model of 101M Parameters

Base model: BEE-spoke-data/smol_llama-101M-GQA
Datasets:
Availability in other ML formats:
- GGUF: Felladrin/gguf-Smol-Llama-101M-Chat-v1
- ONNX: Felladrin/onnx-Smol-Llama-101M-Chat-v1
- MLC: Felladrin/mlc-q4f16-Smol-Llama-101M-Chat-v1

Recommended Prompt Format

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{user_message}<|im_end|>
<|im_start|>assistant

Recommended Inference Parameters

penalty_alpha: 0.5
top_k: 4
repetition_penalty: 1.105

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

Metric	Value
Avg.	28.73
AI2 Reasoning Challenge (25-Shot)	22.87
HellaSwag (10-Shot)	28.69
MMLU (5-Shot)	24.93
TruthfulQA (0-shot)	45.76
Winogrande (5-shot)	50.04
GSM8k (5-shot)	0.08

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 5b690ee