Характеристики

Контекст: 131 072 токена
Параметры: 1,1 млрд
Размер весов: 5,6 ГБ
Лицензия: Apache 2.0
Архитектура: llama · dense
Библиотека: transformers
Опубликована: 13 авг 2025

Ссылки

llama3_1b_chinchilla_8132025

Генерация текстаТекст → текст3 профессии

Базовая англоязычная модель семейства Llama на 1,1 млрд параметров для генерации текста, обученная с нуля на FineWeb-Edu.

555скачиваний за 30 дней1лайквеса обновлены14 авг 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это плотная авторская языковая модель семейства Llama примерно на 1,1 млрд параметров, созданная kz919 с нуля с помощью torchtitan. Модель предварительно обучена на наборе HuggingFaceFW/fineweb-edu оптимизатором AdamW; в карточке указано, что она обучалась на 20 млрд токенов по правилу Chinchilla.

Модель предназначена для генерации текста и базового продолжения запросов на английском языке. В карточке приведены результаты оценки на ARC, HellaSwag, MMLU и других тестах. Модель доступна в формате safetensors для библиотеки Transformers; заявленная длина контекста — 131 072 токена.

Лицензия — Apache-2.0. Это базовая предварительно обученная модель; в карточке не заявлены отдельная настройка для диалога или специализированные прикладные области.

Сценарии применения

продолжение английского текста по заданному началу
генерация простых ответов на текстовые запросы
эксперименты с базовыми языковыми моделями
оценка компактной Llama-модели на тестах понимания текста

Ограничения

Модель является базовой предварительно обученной моделью, а не специализированным чат-ассистентом. Показатели в карточке отражают ограниченный набор бенчмарков и не гарантируют качество для конкретных задач.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Details

This model is a 1B llama3 model pretrained from scratch with torchtitan on fineweb-edu with AdamW optimizer. 20x chinchilla rule for 20B tokens seen.

How to use

import torch
from transformers import pipeline


pipe = pipeline(
    "text-generation",
    model="kz919/llama3_1b_chinchilla_8132025",
)

print(pipe("The key to life is"))

Downstream Eval

ARC, Hellaswag, Lambda_OpenAI, OpenbookQA, PIQA

lm_eval --model hf --model_args pretrained=kz919/llama3_1b_chinchilla_8142025,dtype="bfloat16",add_bos_token=True --tasks lambada_openai,hellaswag,piqa,arc_easy,arc_challenge,openbookqa --device cuda:7 --batch_size 8

Tasks	Version	Filter	Metric		Value		Stderr
arc_challenge	1	none	acc	↑	0.2688	±	0.0130
		none	acc_norm	↑	0.2875	±	0.0132
arc_easy	1	none	acc	↑	0.6082	±	0.0100
		none	acc_norm	↑	0.5412	±	0.0102
hellaswag	1	none	acc	↑	0.3459	±	0.0047
		none	acc_norm	↑	0.4169	±	0.0049
lambada_openai	1	none	acc	↑	0.3311	±	0.0066
		none	perplexity	↓	38.2983	±	1.5427
openbookqa	1	none	acc	↑	0.2340	±	0.0190
		none	acc_norm	↑	0.3500	±	0.0214
piqa	1	none	acc	↑	0.6795	±	0.0109
		none	acc_norm	↑	0.6774	±	0.0109

MMLU

Groups	Version	Filter	Metric		Value		Stderr
mmlu	2	none	acc	↑	0.2529	±	0.0037
- humanities	2	none	acc	↑	0.2459	±	0.0063
- other	2	none	acc	↑	0.2424	±	0.0077
- social sciences	2	none	acc	↑	0.2697	±	0.0080
- stem	2	none	acc	↑	0.2572	±	0.0078

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: f0094e3