Характеристики

Контекст: 256 токенов
Параметры: 1,1 млн
Лицензия: Llama 3.3
Архитектура: llama · dense
Базовая модель: Llama-3.3-70B-Instruct
Библиотека: transformers
Опубликована: 26 фев 2026

Ссылки

Hugging Face

Llama-3.3-70B-Instruct-3d-1M-100K-0.1-reverse-padzero-plus-mul-sub-99-256D-1L-4H-1024I

arithmetic-circuit-overloading

Генерация текстаТекст → текст3 профессии

Экспериментальное дообучение Llama 3.3 для генерации текста с контекстом 256 токенов.

104скачиваний за 30 дней0лайковвеса обновлены26 фев 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это экспериментальная дообученная модель семейства Llama 3.3, созданная на основе meta-llama/Llama-3.3-70B-Instruct и опубликованная под идентификатором arithmetic-circuit-overloading/Llama-3.3-70B-Instruct-3d-1M-100K-0.1-reverse-padzero-plus-mul-sub-99-256D-1L-4H-1024I. Она использует архитектуру LlamaForCausalLM и предназначена для генерации текста. В README указано значение loss 1,3457 на наборе оценки, но описание сценариев обучения, датасета и предполагаемого применения отсутствует.

Метаданные сообщают о 1,1 млн параметров и контексте 256 токенов. Эти характеристики резко отличаются от базовой модели на 70 млрд параметров с контекстом до 128 тысяч токенов, поэтому применимость и качество чекпойнта следует проверять отдельно. Модель доступна в формате safetensors под лицензией llama3.3; используйте её с соблюдением условий лицензии базовой модели.

Сценарии применения

эксперименты с генерацией текста на основе Llama
проверка генерации коротких текстовых продолжений
оценка поведения дообученного языкового чекпойнта

Ограничения

README не сообщает обучающий датасет и целевые сценарии; указанное значение loss не раскрывает качество на практических задачах. Заявленные 1,1 млн параметров и контекст 256 токенов расходятся с характеристиками базовой модели на 70 млрд параметров, поэтому совместимость и фактические свойства чекпойнта требуют проверки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Llama-3.3-70B-Instruct-3d-1M-100K-0.1-reverse-padzero-plus-mul-sub-99-256D-1L-4H-1024I

This model is a fine-tuned version of meta-llama/Llama-3.3-70B-Instruct on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 1.3457

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.001
train_batch_size: 128
eval_batch_size: 128
seed: 42
optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: cosine
lr_scheduler_warmup_ratio: 0.05
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss
No log	0	0	3.1180
1.7667	0.0640	500	1.7540
1.5373	0.1280	1000	1.5022
1.4361	0.1920	1500	1.4374
1.4205	0.2560	2000	1.4214
1.4034	0.3200	2500	1.4003
1.392	0.3840	3000	1.3884
1.3843	0.4480	3500	1.3849
1.3745	0.5120	4000	1.3749
1.3708	0.5760	4500	1.3715
1.3679	0.6400	5000	1.3671
1.365	0.7040	5500	1.3662
1.3656	0.7680	6000	1.3643
1.3615	0.8319	6500	1.3623
1.3614	0.8959	7000	1.3606
1.3606	0.9599	7500	1.3602
1.3584	1.0239	8000	1.3584
1.3586	1.0879	8500	1.3583
1.3565	1.1519	9000	1.3566
1.3581	1.2159	9500	1.3582
1.3563	1.2799	10000	1.3555
1.3556	1.3439	10500	1.3549
1.3545	1.4079	11000	1.3545
1.3552	1.4719	11500	1.3533
1.3538	1.5359	12000	1.3528
1.3521	1.5999	12500	1.3518
1.3516	1.6639	13000	1.3508
1.3515	1.7279	13500	1.3504
1.3502	1.7919	14000	1.3500
1.3486	1.8559	14500	1.3501
1.351	1.9199	15000	1.3497
1.3502	1.9839	15500	1.3496
1.349	2.0479	16000	1.3488
1.3482	2.1119	16500	1.3484
1.3486	2.1759	17000	1.3491
1.3476	2.2399	17500	1.3481
1.3477	2.3039	18000	1.3483
1.3487	2.3678	18500	1.3487
1.3475	2.4318	19000	1.3476
1.348	2.4958	19500	1.3475
1.348	2.5598	20000	1.3474
1.3486	2.6238	20500	1.3477
1.3468	2.6878	21000	1.3472
1.3476	2.7518	21500	1.3470
1.3471	2.8158	22000	1.3470
1.3472	2.8798	22500	1.3468
1.3469	2.9438	23000	1.3468
1.3464	3.0078	23500	1.3468
1.3469	3.0718	24000	1.3465
1.3468	3.1358	24500	1.3464
1.3463	3.1998	25000	1.3463
1.3455	3.2638	25500	1.3463
1.3473	3.3278	26000	1.3463
1.3462	3.3918	26500	1.3461
1.3454	3.4558	27000	1.3461
1.3463	3.5198	27500	1.3461
1.3461	3.5838	28000	1.3460
1.3458	3.6478	28500	1.3459
1.3461	3.7118	29000	1.3460
1.3448	3.7758	29500	1.3459
1.3449	3.8398	30000	1.3458
1.3455	3.9038	30500	1.3459
1.3461	3.9677	31000	1.3458
1.3459	4.0317	31500	1.3458
1.3464	4.0957	32000	1.3458
1.3452	4.1597	32500	1.3458
1.3463	4.2237	33000	1.3458
1.3466	4.2877	33500	1.3457
1.3467	4.3517	34000	1.3457
1.3448	4.4157	34500	1.3457
1.3457	4.4797	35000	1.3457
1.3464	4.5437	35500	1.3457
1.3447	4.6077	36000	1.3457
1.3448	4.6717	36500	1.3457
1.3459	4.7357	37000	1.3457
1.3456	4.7997	37500	1.3457
1.3468	4.8637	38000	1.3457
1.3456	4.9277	38500	1.3457
1.3445	4.9917	39000	1.3457

Framework versions

Transformers 4.57.1
Pytorch 2.9.0+cu128
Datasets 4.5.0
Tokenizers 0.22.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: a61d635

Характеристики

Ссылки

Llama-3.3-70B-Instruct-3d-1M-100K-0.1-reverse-padzero-plus-mul-sub-99-256D-1L-4H-1024I

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Для каких профессий подходит3

Карточка модели

Llama-3.3-70B-Instruct-3d-1M-100K-0.1-reverse-padzero-plus-mul-sub-99-256D-1L-4H-1024I

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить