Характеристики

Контекст: 4 096 токенов
Параметры: 1,3 млрд
Лицензия: Apache 2.0
Архитектура: llama · dense
Библиотека: transformers
Опубликована: 9 июл 2024

Ссылки

Hugging Face arXiv 2311.07052

MiniMA-2-1B

GeneZC

Генерация текстаТекст → текст3 профессии

Компактная производная от LLaMA-2 языковая модель для генерации текста с контекстом до 4096 токенов.

374скачиваний за 30 дней2лайкавеса обновлены10 фев 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MiniMA-2-1B — компактная языковая модель семейства Llama, разработанная GeneZC. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна модель примерно на 1,3 млрд параметров с контекстом до 4096 токенов. В метаданных указана архитектура LlamaForCausalLM, а веса доступны в форматах PyTorch и Safetensors.

Карточка сообщает, что модель происходит от LLaMA-2 и требует соблюдения лицензии LLaMA-2. Метаданные также указывают лицензию Apache-2.0; из-за этого расхождения перед использованием следует проверить лицензионные условия исходной модели и репозитория. В карточке приведены результаты бенчмарков, но недостаточно сведений, чтобы определить конкретные сильные стороны модели или её качество в отдельных задачах.

Сценарии применения

генерация продолжений текста
создание черновиков и коротких текстовых ответов
эксперименты с компактными моделями семейства Llama

Ограничения

Контекст ограничен 4096 токенами. Карточка указывает на необходимость соблюдать лицензию LLaMA-2, тогда как метаданные обозначают Apache-2.0; лицензионные условия требуют проверки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MiniMA-2-1B

❗ Must comply with LICENSE of LLaMA-2 since it is derived from LLaMA-2.

Standard Benchmarks

Method	TFLOPs	MMLU (5-shot)	CEval (5-shot)	DROP (3-shot)	HumanEval (0-shot)	BBH (3-shot)	GSM8K (8-shot)
Mamba-2.8B	4.6E9	25.58	24.74	15.72	7.32	29.37	3.49
ShearedLLaMA-2.7B	0.8E9	26.97	22.88	19.98	4.88	30.48	3.56
BTLM-3B	11.3E9	27.20	26.00	17.84	10.98	30.87	4.55
StableLM-3B	72.0E9	44.75	31.05	22.35	15.85	32.59	10.99
Qwen-1.8B	23.8E9	44.05	54.75	12.97	14.02	30.80	22.97
Phi-2-2.8B	159.9E9	56.74	34.03	30.74	46.95	44.13	55.42
LLaMA-2-7B	84.0E9	46.00	34.40	31.57	12.80	32.02	14.10

MiniMA-3B	4.0E9	28.51	28.23	22.50	10.98	31.61	8.11
MiniMA-2-1B	6.3E9	31.34	34.92	20.08	10.37	31.16	7.28
MiniMA-2-3B	13.4E9	40.14	44.65	23.10	14.63	31.43	8.87
MiniMix-2/4x3B	25.4E9	44.35	45.77	33.78	18.29	33.60	21.61
MiniChat-3B	4.0E9	38.40	36.48	22.58	18.29	31.36	29.72
MiniChat-2-3B	13.4E9	46.17	43.91	30.26	22.56	34.95	38.13

Bibtex

@article{zhang2023law,
    title={Towards the Law of Capacity Gap in Distilling Language Models},
    author={Zhang, Chen and Song, Dawei and Ye, Zheyu and Gao, Yan},
    year={2023},
    url={https://arxiv.org/abs/2311.07052}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 4174b1c

Характеристики

Ссылки

MiniMA-2-1B

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Для каких профессий подходит3

Карточка модели

MiniMA-2-1B

Bibtex

Как запустить