Компактная языковая модель FrontD на 11 млн параметров для генерации текста и экспериментов с декодерными архитектурами.
32скачиваний за 30 дней0лайковвеса обновлены19 авг 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
FrontD.11m — компактная авторская языковая модель семейства FrontD, разработанная проектом 11-47 и обученная с нуля. Это декодерная модель на 10 996 608 параметров для генерации текста; модель реализована на PyTorch.
Архитектура включает 6 слоёв, 16 голов внимания, скрытый размер 256, словарь из 16 000 токенов, RoPE, RMSNorm и SwiGLU; входные и выходные эмбеддинги связаны. Контекст составляет 1096 токенов. Предварительное обучение проводилось на наборе Plans11/Organized_PreTrain_1k_Context.
Модель подходит для экспериментов с компактными языковыми моделями и генерацией текста в пределах короткого контекста. Она обучена с нуля и не является дообучением готовой базовой модели. Лицензия MIT разрешает использование, изменение и распространение с соблюдением её условий.
Сценарии применения
эксперименты с генерацией текста компактной моделью
изучение декодерных языковых моделей
создание коротких текстовых продолжений
прототипирование моделей с небольшим контекстом
Ограничения
Контекст ограничен 1096 токенами, а размер модели — примерно 11 млн параметров, поэтому её возможности ограничены по сравнению с крупными языковыми моделями. Язык обучения и качество на конкретных задачах в карточке не описаны.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель