/ Модель
Каталог

Характеристики

Контекст
2 048 токенов
Параметры
185 млн
Лицензия
Apache 2.0
Архитектура
llama · dense
Опубликована
22 дек 2023

Ссылки

Hugging Face

smol_llama-220M-GQA

BEE-spoke-data
Генерация текстаТекст → текст3 профессии

Компактная модель Llama, обученная с нуля для генерации текста и экспериментов с языковыми моделями.

512скачиваний за 30 дней13лайковвеса обновлены29 дек 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,2559

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,2386

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,1149

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,4059

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,0106

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,3032

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BEE-spoke-data выпустила smol_llama-220M-GQA — компактную авторегрессионную языковую модель семейства Llama, обученную с нуля. Это первая версия модели; в карточке указаны 10 слоёв, размер скрытого состояния 1024 и 32 головы внимания с групповым запросом ключей и значений (GQA, 8 KV-голов). Модель содержит около 185 млн параметров и рассчитана на контекст до 2048 токенов.

Модель предназначена для генерации текста и экспериментов с небольшой языковой моделью. В обучении использовались Minipile, Simple Wikipedia LM, RefinedWeb и набор данных BEE-spoke-data. В карточке приведены результаты нескольких бенчмарков, однако они не гарантируют качество в конкретных прикладных сценариях. Указанная лицензия — Apache-2.0.

Сценарии применения

  • генерация продолжения текста
  • эксперименты с компактной авторегрессионной моделью
  • оценка языковой модели на бенчмарках

Ограничения

Контекст ограничен 2048 токенами, а компактный размер модели может ограничивать качество и глубину ответов. Результаты бенчмарков в карточке не подтверждают надёжность для конкретных прикладных задач.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

smol_llama: 220M GQA

A small 220M param (total) decoder model. This is the first version of the model.

  • 1024 hidden size, 10 layers
  • GQA (32 heads, 8 key-value), context length 2048
  • train-from-scratch on one GPU :)

Links

Here are some fine-tunes we did, but there are many more possibilities out there!

  • instruct
    • openhermes - link
    • open-instruct - link
  • code
    • python (pypi) - link
  • zephyr DPO tune

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.29.44
AI2 Reasoning Challenge (25-Shot)24.83
HellaSwag (10-Shot)29.76
MMLU (5-Shot)25.85
TruthfulQA (0-shot)44.55
Winogrande (5-shot)50.99
GSM8k (5-shot)0.68

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.6.62
IFEval (0-Shot)23.86
BBH (3-Shot)3.04
MATH Lvl 5 (4-Shot)0.00
GPQA (0-shot)0.78
MuSR (0-shot)9.07
MMLU-PRO (5-shot)1.66

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
7737e70

0 моделей

    Создать бенчмарк