Характеристики

Контекст: 256 токенов
Лицензия: Apache 2.0
Архитектура: localllm · dense
Опубликована: 8 мар 2026

Ссылки

fineweb_pretrained_model_37M

zyberg2091

Генерация текстаТекст → текст3 профессии

Компактная англоязычная авторегрессионная модель на 37,8 млн параметров для учебных экспериментов с предобучением и генерацией текста.

86скачиваний за 30 дней0лайковвеса обновлены30 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

zyberg2091/fineweb_pretrained_model_37M — небольшая авторегрессионная языковая модель, разработанная и обученная с нуля в PyTorch для изучения предварительного обучения малых языковых моделей. Она предназначена для экспериментов с реализацией архитектуры и распределением параметров, а также для учебных запусков генерации текста на английском языке. Модель содержит 37,8 млн параметров и построена как decoder-only Transformer с 6 слоями, размерностью скрытого состояния 512, 8 головами внимания и 4 KV-головами; использует grouped-query attention, RoPE и pre-norm.

Контекст составляет 256 токенов, словарь — 20 000 токенов. Обучение проводилось примерно на 250 млн токенов из FineWeb; веса сохранены в формате safetensors с точностью float32. Это исследовательский и учебный артефакт, который автор не рекомендует использовать как производственного помощника; короткий контекст и малый размер ограничивают практическую сложность генерации. Лицензия — Apache-2.0.

Сценарии применения

изучение предобучения малых языковых моделей
эксперименты с архитектурой Transformer и grouped-query attention
учебная генерация коротких текстов на английском языке

Ограничения

Модель создана для исследований и обучения, а не для применения в роли производственного помощника; контекст ограничен 256 токенами, а размер модели невелик.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

FineWeb Pretrained Model - 37.8M Parameters

A 37.8M-parameter decoder-only language model implemented and pretrained from scratch in PyTorch.

Model summary

Parameters: 37.8M
Layers: 6
Hidden dimension: 512
Attention heads: 8
KV heads: 4
Context length: 256
Vocabulary: 20,000
Architecture: grouped-query attention, RoPE, pre-norm transformer
Training data: 250M-token FineWeb slice
Training: approximately 61,000 steps and 500M token passes
Precision: float32

Intended purpose

This model is a research and educational artifact for studying small-language-model pretraining, architecture implementation, and parameter allocation. It is not intended as a production assistant.

Loading

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "zyberg2091/fineweb_pretrained_model_37M"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: LocalLLMForCausalLM
Ревизия весов: 97c6169