Характеристики

Контекст: 4 096 токенов
Параметры: 37,7 млн
Архитектура: linear_50m · dense
Библиотека: transformers
Опубликована: 1 окт 2026

Ссылки

Hugging Face

50M-pro

User01110

Генерация текстаТекст → текст

Компактная языковая модель Linear-50M для генерации и продолжения текста с контекстом до 4096 токенов.

815скачиваний за 30 дней0лайковвеса обновлены7 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Linear-50M — языковая модель для генерации текста, опубликованная пользователем User01110. Модель построена на архитектуре Linear50MForCausalLM с линейным вниманием и механизмом Gated DeltaNet; в карточке указаны 37,7 млн параметров и контекст до 4096 токенов. Она обучалась по рецепту linear-50m-gdn2-delta-memory-read-mix-v5 и достигла validation loss 2,9141 на шаге обучения 80 000.

Модель предназначена для продолжения текста и других экспериментов с компактными авторегрессионными языковыми моделями. В обучении использовались DCLM-edu, Climbmix-400B, TxT360-v2 и CC-Math-Finest. Лицензия в предоставленных данных не указана.

Сценарии применения

продолжение заданного текста
эксперименты с компактными языковыми моделями
генерация учебных текстов
тестирование архитектур с линейным вниманием

Ограничения

Карточка сообщает validation loss 2,9141, но не приводит бенчмарки или результаты оценки прикладных задач. Данные не содержат сведений о лицензии.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Linear-50M

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: Linear50MForCausalLM
Ревизия весов: 0da1f2c