I.2Синтез, понимание и проверка знаний

Это чекпойнт TOLM из контролируемого турнира BabyLM, опубликованный Miguelcsx как сохранение уже обученной модели. Архитектура — плотная модель TOLM с головой masked language modeling; размер — 49,1 млн параметров. В карточке указаны английский язык и библиотека Transformers, а файлы весов представлены в формате Safetensors. Модель предназначена для заполнения пропусков в английском тексте и может использоваться для экспериментов с языковым моделированием и оценки синтаксических и концептуальных знаний на наборах вроде BLiMP и EWoK. В README приведены результаты существующей записи оценки; для этого выпуска обучение и оценивание не проводились. Для загрузки пользовательской архитектуры Transformers требуется удалённый код. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории.

zagreus-0.4B-italic-softkd — модель от idealab-cs2, созданная постобучением mii-llm/zagreus-0.4B-ita для теста ITALIC по итальянскому языку и культуре. Это плотная причинная языковая модель семейства Llama с 437,7 млн параметров и контекстом 4096 токенов; веса опубликованы в формате safetensors. Модель обучена методом мягкой дистилляции знаний: распределения ответов давали три более крупные языковые модели, а обучение было направлено на выбор ответа в формате множественного выбора. Основной сценарий — ответы на вопросы с вариантами выбора по итальянской культуре и языку, включая грамматику, лексику, орфографию, морфологию, историю и географию. В README сообщается точность 0,4787 на полном тесте ITALIC из 10 000 вопросов при официальной пятипримерной оценке; модель превзошла базовую и указанного авторами лидера на момент подачи. Лицензия — Apache-2.0. Модель специализирована на формате ITALIC и содержит лишь 0,4 млрд параметров. За пределами этого формата README ожидает возможности примерно на уровне базовой модели; результаты бенчмарка не следует переносить на другие задачи или сценарии.

AhıskaAI-Experimental-v0.2-235M-IT — экспериментальная модель для генерации текста, разработанная независимой инициативой AhıskaAI. Это дообученная методом SFT примерно 235-миллионная плотная LlamaForCausalLM, предназначенная для изучения влияния инструкционного дообучения на небольшую языковую модель и её поведения в диалогах, ответах на вопросы и математических запросах. Модель обучалась прежде всего на турецком языке; контекст составляет 2048 токенов. Разработчики сообщают, что модель не достигла требований к качеству основной серии AhıskaAI и не рекомендуется для производственного применения. Она может выдавать ошибочные факты и вычисления, повторяться, терять связь с запросом или не выполнять простые инструкции. Модель опубликована в формате safetensors по лицензии Apache-2.0.

Это причинная языковая модель ypwhere, опубликованная для исследования «What Does Input-Dependent Depth Routing Buy in Data-Limited Language Modeling?» в рамках BabyLM 2026. Модель обучена на официальном обучающем наборе BabyLM объёмом 10 млн слов; это базовый языковой чекпойнт, а не модель для диалога с инструкциями. Архитектура — плотный NanoGPT-трансформер с 16 слоями и скрытым размером 512. В блоках используются аддитивные остаточные связи, RMSNorm, SwiGLU, вращательные позиционные эмбеддинги, gated attention и общие входные и выходные эмбеддинги. Репозиторий содержит токенизатор и реализацию для Transformers; веса сохранены в safetensors. Для генерации и оценки причинного продолжения вход следует ограничивать 512 токенами; эффективный KV-кэш не поддерживается. Модель подходит для экспериментов с языковым моделированием на ограниченных данных и сравнительной оценки архитектур в условиях BabyLM. Карточка описывает обучение и оценивание в исследовательском контексте, поэтому чекпойнт уместно считать исследовательским. Лицензия — MIT.

ypwhere/attnres4babylm2026-10m-l32-static-s1338 — причинная языковая модель от автора репозитория, созданная для исследований моделирования языка на ограниченных данных и маршрутизации по глубине в рамках BabyLM 2026. Она обучена на официальном обучающем наборе BabyLM объёмом 10 млн слов; это предварительно обученная модель, а не чат-ассистент. Модель построена на NanoGPT: 32 слоя, скрытый размер 512, RMSNorm, SwiGLU, rotary positional embeddings, gated attention и связанные входные и выходные эмбеддинги. Вариант static-routing использует фиксированные обучаемые softmax-веса по источникам разных глубин, не зависящие от входного текста. Для работы с Transformers требуется загрузка реализации из репозитория с trust_remote_code=True; заявлена поддержка причинного скоринга и генерации, но эффективный KV-кэш не реализован. Входы следует ограничивать 512 токенами. Модель предназначена для экспериментальных сравнений архитектур и изучения языкового моделирования на малых корпусах. Карточка указывает английский язык. Лицензия — MIT.

CPSPX разработала компактную GPT-подобную авторегрессионную языковую модель для Chinese BabyLM Challenge 2026. Она обучена генерировать последовательности на специальном пиньинь-коде, а не на иероглифах: китайские слова сегментируются с помощью jieba, а слоги представляются токенами, сохраняющими начальную согласную, группу тонов и категорию длины слога. Это сжатое и частично теряющее информацию фонологическое представление мандаринского китайского. Модель содержит около 41,7 млн параметров по метаданным (в README указано около 33,4 млн), 8 слоёв, 8 голов внимания, размер скрытого слоя 512, контекст до 512 токенов и словарь SentencePiece-BPE на 16 тысяч токенов. Она предназначена для генерации текста и исследовательских экспериментов с обучением языковых моделей на ограниченных корпусах. В карточке приведены результаты на китайских тестах языковых знаний и соответствия пиньиня и иероглифов. Лицензия — MIT.

Beetle-FineWeb-100M/beetle-bilingual-l2-80-late-b5-fineweb-100m-dan-eng — небольшая двуязычная авторегрессионная языковая модель из семейства Beetle, разработанного исследователями University of Cambridge и EleutherAI. Модель обучена для изучения билингвальной обработки и усвоения второго языка в контролируемых условиях; в данном варианте первым языком является датский, а вторым — английский. Модель относится к классу causal language models и предназначена для генерации текста и вычисления вероятностей последовательностей. Семейство Beetle использует LLaMA-подобную архитектуру с RoPE, SwiGLU, RMSNorm и grouped-query attention; модель имеет порядок 0,2 млрд параметров и реализуется через Transformers с пользовательским кодом pico_decoder. Конфигурация late-b5 моделирует поэтапное воздействие языков, при котором английский вводится позднее в процессе обучения. Основное применение — экспериментальное моделирование двуязычия, межъязыкового переноса, динамики обучения второму языку, чтения и грамматической обработки. Модель не является универсальным чат-ассистентом и из-за небольшого размера, ограниченного датско-английского охвата и исследовательской направленности может уступать крупным многоязычным моделям в качестве генерации, фактических ответах и широком спектре прикладных задач. Условия лицензирования в доступных источниках не подтверждены.

Модель SlayerLab/bielik-1.5b-v3-matura-history-sft2 разработана SlayerLab как компактная языковая модель для ответов на экзаменационные задания по истории в формате польского выпускного экзамена matura расширенного уровня CKE. Это полно-параметрически дообученная методом SFT модель speakleash/Bielik-1.5B-v3.0-Instruct на синтетических заданиях и примерах экзаменационных ответов. Она использует плотную архитектуру LlamaForCausalLM, содержит 1,5 млрд параметров и поддерживает контекст до 8192 токенов. Модель рассчитана на польскоязычные вопросы по истории, задания с кратким ответом и эссе. В репозитории доступны веса bf16 в формате Transformers и варианты GGUF для запуска через llama.cpp; результат зависит от квантизации и протокола оценки. В оценивании команды модель проходила порог на экзаменационном и Wikipedia-наборе при использовании специального harness с поиском, но не прошла порог на невиданном экзамене CKE 2026. Это экспериментальный хакатонный артефакт, настроенный на конкретный оценщик. Модель может ошибаться в именах, датах и местах, ответы «верно/неверно» даёт примерно на уровне случайного угадывания, а эссе могут содержать вымышленные факты. Не следует полагаться на неё для проверки фактов или оценивания работ. Лицензия — Apache-2.0.

Это исследовательская модель DeBERTa-v3-base от проекта Augustinian BabyLM, предназначенная для предсказания замаскированных слов и изучения того, как визуальное заземление влияет на языковую модель небольшого размера. Веса модели содержат 170,8 млн параметров; архитектура включает 12 слоёв, 12 голов внимания и скрытый размер 768, а контекст составляет до 1024 токенов. Модель работает с текстом на английском языке. Вариант sam_ext-s3 использует инициализацию входных эмбеддингов признаками SAM ViT-B. Для 1 151 ранее не заземлённого конкретного слова синтетически создали описания сцен, изображения и локализации объектов, а затем извлекли признаки SAM из найденных областей. Модель обучена 10 эпох на корпусе bb24.train объёмом около 9,9 млн слов; это третий вариант из трёх запусков с разными случайными seed. В описанных экспериментах визуальное заземление улучшило результаты на тестах свойств объектов, тогда как грамматические показатели остались примерно без изменений. Модель опубликована по лицензии CC BY 4.0. Это исследовательский артефакт на нестандартном корпусе, поэтому результаты напрямую несопоставимы с моделями, обученными на официальном наборе BabyLM strict-small 2026; доступна только одна архитектура masked language model.

DeepSeek-V2-Lite-Dense-3B-ACP-K6 — плотная языковая модель, полученная из MoE-модели DeepSeek-V2-Lite с помощью pruning и дистилляции. Это исследовательский артефакт из работы «Pruning and Distilling Mixture-of-Experts into Dense Language Models», предназначенный для воспроизведения экспериментов по оценке методов отбора и группировки экспертов. В модели около 2,5 млрд параметров по метаданным; в README указано 2,66 млрд. Контекст — до 163 840 токенов. Репозиторий содержит веса safetensors и поддерживает генерацию текста и диалоги. Модель обучалась на ограниченном бюджете — 0,3 млрд токенов FineWeb-Edu — для сравнения методов при равных условиях. Она не проходила инструкционную настройку и выравнивание, поэтому не предназначена для использования в качестве готового чат-ассистента. В README приведены результаты на нескольких бенчмарках, однако авторы предупреждают, что качество существенно ниже качества исходной модели и предварительно обученных моделей сопоставимого размера. Лицензия обозначена как other; конкретные условия следует проверять в репозитории.

FACTORIZED Natural Dense — компактная англоязычная модель для языковых экспериментов в рамках контролируемого исследования BabyLM. Это 12-слойный энкодер в стиле LTG-BERT с 384-мерным скрытым представлением и 6 головами внимания; в метаданных указано 31,1 млн параметров, а в README — около 33,3 млн. Модель обучалась с маскированием целых слов и дополнительной задачей обнаружения заменённых токенов. Представление разделено на три факторных блока по 128 измерений, но в этом контрольном варианте факторный механизм не активен при обычном выводе языковой модели. Основное применение — предсказание замаскированных токенов и эксперименты с небольшими моделями развития языка на английском языке. README сообщает о результатах внутренних оценок BLiMP, BLiMP Supplement и Entity Tracking; это измерения разработки, а не официальное место в рейтинге. Модель не предназначена для использования как универсальный диалоговый помощник. Лицензия указана как other; конкретные условия следует сверить с файлами репозитория.

Saishf/Fett-uccine-11B-Experiment — экспериментальная языковая модель для генерации текста и диалогов, созданная с помощью mergekit на основе Epiculous/Fett-uccine-7B. При объединении применён метод passthrough: в модель включены слои 0–24 и 8–32 исходной модели; веса сохранены в float16. Архитектура — плотная MistralForCausalLM, размер — 10,6 млрд параметров, контекст — до 32 768 токенов. Модель принимает текст и генерирует текст. Автор предупреждает, что результаты хуже исходной модели и не рекомендует её для практического использования, кроме экспериментов. Репозиторий распространяется по лицензии AGPL-3.0.

yorukot/gpt2-traning — GPT-2-модель, обученная с нуля разработчиком карточки на англоязычном наборе C4. Это стандартная плотная архитектура GPT2LMHeadModel с 12 слоями, 12 головами внимания, шириной скрытого слоя 768 и 124 439 808 уникальными параметрами; веса сохранены в FP32, формат репозитория — safetensors. Модель использует токенизатор GPT-2 и принимает последовательности длиной до 1 024 токенов. Модель предназначена для продолжения англоязычного текста и учебных экспериментов с языковой моделью. Она обучалась без предобученных весов и без настройки на выполнение инструкций, поэтому не рассчитана на диалоговое следование запросам. В README приведена локальная оценка на C4 validation: perplexity 27,52; это результат конкретного экспериментального разбиения, а не независимая оценка качества. Модель может генерировать неточный или предвзятый текст из-за особенностей веб-данных C4. Репозиторий распространяется по лицензии Apache-2.0.

Hogleto — экспериментальная англоязычная авторегрессионная языковая модель семейства Hogleto, созданная как артефакт тестирования приложения BananaAll. Она дообучена с помощью LoRA на базе BananaMind/BananaMind-2.1-Pico-Preview на датасете SupraThink; в README указаны ранг LoRA 8, alpha 16 и пять шагов обучения. Метаданные указывают 827,4 тыс. параметров и контекст 3072 токена, тогда как README приводит размер 1,4 млн параметров. Модель предназначена для генерации текста и небольших экспериментальных проверок языковой модели. В README приведены результаты PIQA 53,86%, ARC-Easy 29,55% и ARC-Challenge 22,61%; это скромные результаты, а описание обучения всего пятью шагами указывает на ограниченную проверенность модели. Репозиторий распространяется в формате Safetensors по лицензии Apache-2.0.

INDRA 8B Base — экспериментальная базовая языковая модель архитектуры INDRA1, разработанная Шашватом Мудгалом и распространяемая DarkWhite Productions. Это авторегрессионная причинно-языковая модель примерно на 8 млрд параметров, созданная для генерации текста из текстового контекста. Она представляет собой отдельную архитектуру, а не дообученную оболочку Qwen: предобученные веса Qwen использовались как начальная точка, после чего веса были отображены во внутренние модули INDRA и модель обучалась далее. Модель предназначена для исследований архитектур языковых моделей, экспериментов с рассуждениями и структурированной генерацией, а также анализа исторического чекпойнта INDRA1. Она не настроена на следование инструкциям и не оптимизирована для диалогов. В метаданных указан английский язык. Длина контекста и подробные результаты оценки не приведены. Возможны галлюцинации, ошибки рассуждений и фактические неточности, повторы, нестабильная генерация и слабое следование инструкциям; надёжность рассуждений не гарантируется. Модель не предназначена для критически важных решений или использования в качестве производственного помощника. Доступ к материалам репозитория ограничен, а условия указывают на все права, защищённые автором; копирование, распространение, изменение для распространения и коммерческое использование требуют разрешения правообладателя. Для сторонних материалов действуют их собственные лицензии.

KorMedQwen — дообученная модель семейства Qwen для ответов на вопросы о медицине на корейском языке. По карточке, автор дообучил чат-модель Qwen 7B на 3 104 примерах корейских медицинских вопросов и ответов, смешанных с 5 000 примеров диалогового набора kollm-conversation. Метаданные указывают на плотную архитектуру QWenLMHeadModel, 11,4 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации ответов на медицинские вопросы и диалоговых сценариев на корейском языке. В описанной автором оценке на 200 тестовых примерах KorMedQwen дала 21% правильных ответов против 19,5% у исходной Qwen; результат указывает на ограниченную точность и проверен на небольшой выборке. Автор предполагает, что дополнительное предобучение на медицинских данных и больше корейских QA-примеров могут улучшить результат. Лицензия в предоставленных данных не указана.

ModalityDance/latent-tts-coconut — исследовательская модель латентного рассуждения COCONUT, созданная на основе GPT-2 и предназначенная для генерации текста с промежуточными шагами рассуждения в непрерывном латентном пространстве. Она использует архитектуру GPT-2 с классом COCONUTGPT2 и специальными токенами для управления латентными шагами; для входного вопроса требуется перевод строки перед специальным токеном. Контекст модели составляет 1024 токена, веса представлены в формате safetensors. Модель предназначена для экспериментальной оценки рассуждений и масштабирования вычислений на этапе генерации; в карточке указаны бенчмарки GSM8K, GSM8K Hard и MultiArith. Для инференса нужны каталог src и пользовательские файлы реализации из официального репозитория. Базовая GPT-2 — компактная англоязычная авторегрессионная модель, поэтому поддержку других языков README не подтверждает. Лицензия — MIT.

VigneshwarKandhaiya разработал legal-slm-125m-base — базовую языковую модель на архитектуре Llama, обученную с нуля для генерации текста в юридическом и финансовом стиле. Модель содержит 125,8 млн параметров, использует 12 слоёв, контекст 1024 токена и токенизатор с байтовым BPE на 16 тысяч токенов. Она не проходила инструкционное дообучение. Обучение проведено на корпусе из судебных решений США, документов SEC и образовательных веб-материалов; около 76% данных составляют юридические и финансовые тексты. Модель подходит для экспериментов с продолжением англоязычных текстов в этих областях и изучения небольших языковых моделей. В README указана perplexity 10,67 после одной эпохи обучения. Модель поддерживает генерацию текста через Transformers и опубликована под лицензией Apache-2.0. Она может создавать стилизованный текст, но не гарантирует фактическую точность и не предназначена для следования инструкциям; её ответы не являются юридической или финансовой консультацией.

Hyukkyu/Llama-3.1-8B-RAQUEL-WMDP-M-ret-LoRA-v1 — исследовательская базовая модель M_ret для экспериментов RAQUEL по машинному забыванию знаний. Она дообучена методом LoRA на базе Meta Llama 3.1 8B на парах вопросов и ответов из сохраняемой части набора RAQUEL2 WMDP; документы в обучении не использовались. В репозитории доступны объединённые веса BF16 для оценки и адаптер LoRA FP32. Это базовая линия сравнения, а не модель, прошедшая забывание знаний. Модель предназначена для генерации ответов на вопросы в формате «Question: …\nAnswer:» и оценки сохранения знаний на забываемой и сохраняемой частях набора WMDP. В карточке приведены результаты на тестовых разбиениях: точность семантической оценки на сохраняемой части составила 99,2%, а на исходных и перефразированных вопросах забываемой части — 17,6% и 19,1%. Архитектура — плотная авторегрессионная LlamaForCausalLM с 7,5 млрд параметров и контекстом до 131 072 токенов; заявленный язык — английский. Модель не обучалась с шаблоном чата. Лицензия — Llama 3.1; перед использованием следует соблюдать LICENSE, NOTICE и USE_POLICY.md.

bhaveshsoni0023/llama-3.2-1b-grpo-gsm8k — дообученная методом GRPO модель семейства Llama 3.2, созданная на базе Meta Llama-3.2-1B-Instruct с использованием NVIDIA NeMo RL. Это плотная авторегрессионная модель с 1,2 млрд параметров; в репозитории веса представлены в формате safetensors. Для модели указана длина контекста 131 072 токена, однако в описании обучения использовалась длина последовательности 1 024 токена. Модель предназначена для решения школьных арифметических текстовых задач GSM8K с пошаговым рассуждением и выдачей ответа в тегах \boxed{}. В тестировании GSM8K она получила 51,48% pass@1 (679 из 1319 задач) при жадном декодировании, против 44,50% у исходной Llama-3.2-1B-Instruct в той же оценке. Для сохранения качества README рекомендует использовать заданный шаблон запроса; голый вопрос ухудшает результаты. Обучение проводилось с бинарной наградой за точное совпадение итогового ответа с эталоном, без написанных людьми решений. Ограничения: модель обучалась и оценивалась только на задачах школьной арифметики; качество в конкурсной математике, формальных доказательствах и других областях не проверено. Лицензия — Llama 3.2.

Это экспериментальная дообученная модель на базе meta-llama/Llama-3.3-70B-Instruct, опубликованная под лицензией llama3.3. В метаданных указаны архитектура LlamaForCausalLM, библиотека Transformers, формат safetensors и 2,1 млн параметров; длина контекста — 256 токенов. README сообщает о дообучении на неизвестном наборе данных и приводит значение loss 1,0953 на оценочном наборе, но не описывает назначение модели или процедуру обучения. По доступным сведениям модель предназначена для генерации текста. Её практические сценарии и качество не определены: карточка не описывает обучение, оценку, ограничения или конкретную специализацию. Многоязычность базовой модели не подтверждает языковую поддержку этого чекпойнта. Для использования указана лицензия llama3.3. Размер в 2,1 млн параметров существенно отличается от 70-миллиардной базовой модели, поэтому метаданные и README не позволяют понять, как именно соотносятся эти значения и представляет ли репозиторий полный чекпойнт.

Llama-JP-0.5B-init — японская начальная модель архитектуры Llama, подготовленная автором репозитория iamtatsuki05. Чекпойнт содержит около 661,9 млн параметров по метаданным, включая примерно 530 млн параметров без эмбеддингов по README, и предназначен как отправная точка для дальнейшего предобучения или дообучения по инструкциям, а не как готовая производственная модель. Модель использует плотную архитектуру LlamaForCausalLM, SentencePiece-токенизатор с общим для серии словарём sarashina2.2 на 102 400 токенов и позиционное кодирование RoPE. Максимальная длина контекста — 8 192 токена. Указана поддержка японского языка; README также обозначен как англоязычный и японский, но модель описана как ориентированная на японский. Чекпойнт распространяется в формате Safetensors через Transformers и имеет лицензию MIT. Его сильная сторона — возможность использовать его для дальнейшего обучения японской Llama-модели. Сам по себе он не заявлен как готовый помощник и может не обеспечивать надёжные ответы без последующего обучения.

LMEnt 1B — Baseball concept-excluded twin — это англоязычная причинно-языковая модель на архитектуре OLMo2 1B, разработанная Gal Barak, Tamar Tabbach, Itamar Stahl и Adam Fleisher для эксперимента по исключению понятий из обучения. Модель содержит около 1,1 млрд параметров, использует формат safetensors и контекст до 2048 токенов; она обучена на корпусе LMEnt с разметкой сущностей, без настройки для следования инструкциям. При обучении модели не учитывали потери на фрагментах, связанных с 43 идентификаторами Wikidata о бейсболе: это 80 466 фрагментов, или 0,767% корпуса. Модель предназначена прежде всего как контрольный ориентир для исследования исключения понятий и сравнения с моделями, где понятия удаляли после обучения. В тесте статьи показатель H_test составил 0,231. Исключение выбранных фрагментов не гарантирует полного отсутствия связанных знаний: сведения могли встречаться в других текстах. Оценка охватывала три понятия и по 50 тестовых вопросов на каждое, поэтому не подтверждает широкое удаление знаний, безопасность или обобщение на другие понятия. Модель может воспроизводить ошибки и смещения Википедии; лицензия на веса в карточке не заявлена.

Makaco разработал эту плотную текстовую модель на основе Qwen/Qwen3.5-9B: сначала выполнил SFT на успешных партиях из набора playpen-data, затем применил DPO, чтобы закрепить удачные ходы и уменьшить многословие и зацикливание. Итоговый чекпойнт содержит объединённые адаптеры и предназначен для загрузки как самостоятельная модель. По данным карточки, в clembench модель получила clemscore 70,21 против 58,82 у версии после одного SFT; при этом её statscore оказался ниже, чем у SFT-версии. Модель предназначена для текстовых диалоговых игр в среде clembench/playpen и сходных симуляциях, а также для исследований интерактивных агентов и применения DPO к игровому поведению. Она принимает текст и генерирует текст, ориентирована на английский язык. Архитектура — Qwen3.5 для причинной генерации текста; метаданные указывают 7,2 млрд параметров и контекст до 262 144 токенов. Лицензия — Apache-2.0. Специализация на играх может снизить качество в роли универсального ассистента; после DPO также отмечено умеренное снижение результатов на общих статических бенчмарках относительно SFT-версии. Обучающие игровые эпизоды были только на английском языке.

huginn-s-learned-entropy0 — исследовательский чекпойнт семейства LoopedLM от IFM, опубликованный для работы Towards Looped Models Done Right. Part II: Rethinking at Fixed Points. Модель предназначена для генерации текста и оценки подхода с рекуррентными вычислениями в языковых моделях. Архитектура — looped Transformer с блоком prelude, двумя рекуррентными блоками и блоком coda; ширина 1 536, 24 головы внимания, включая 6 KV-голов, и FFN SwiGLU шириной 4 352. В модели около 304 млн параметров, формат весов — BF16 Safetensors. Для загрузки необходим код xLLM: чекпойнт несовместим с обычным загрузчиком Transformers. Это экспериментальный вариант из таблицы 2 статьи, конфигурация S с learned λ_H=0; README описывает применение через оценочный скрипт проекта. Язык лицензии — Apache-2.0. Карточка не сообщает языки обучающих данных и длину контекста, поэтому нельзя определить языковую специализацию и предел входной последовательности.

ModernBERT-Small Factorized Linear Embeddings, Tied — модель маскированного языкового моделирования от remg1997, обученная с нуля на корпусе BabyLM 2026 Strict-Small объёмом около 10 млн слов. Это экспериментальный чекпойнт для сравнения способов сокращения параметров в токенных эмбеддингах в условиях ограниченного объёма данных и вычислений. Модель использует архитектуру ModernBERT: 16 слоёв, скрытый размер 384, 6 голов внимания, RoPE, GeGLU и чередование локального и глобального внимания. Таблица токенных эмбеддингов факторизована через 128-мерное пространство; веса эмбеддингов также используются для проекции выхода MLM. Всего в модели 31,8 млн параметров. Она предсказывает скрытые токены в англоязычном тексте и предназначена прежде всего для исследовательской оценки и последующего тонкого обучения. Обучение выполнено на англоязычном наборе BabyLM с токенизатором byte-level BPE размером 30 522 токена; внешние данные и синтетическое дополнение не использовались. В репозитории указана лицензия MIT. В README отмечено, что для этого чекпойнта недоступна метрика корреляции с возрастом усвоения слов, поскольку она требует полного набора промежуточных чекпойнтов.

Это англоязычная модель ModernBERT-Small для восстановления замаскированных токенов в тексте. Модель с 31,8 млн параметров обучена с нуля автором репозитория на корпусе BabyLM 2026 Strict-Small объёмом около 10 млн слов. Она предназначена для экспериментов с предобучением языковых моделей на ограниченных объёмах данных и сравнения способов представления токенов в эмбеддинг-слое. Архитектура включает 16 слоёв, скрытый размер 384, 6 голов внимания, RoPE, GeGLU и чередование локального и глобального внимания. Входные эмбеддинги используют линейную факторизацию через 128-мерное пространство; выходной декодер не связан весами с входными эмбеддингами. Модель работает с английским текстом и byte-level BPE-токенизатором на 30 522 токена. Указанная лицензия — MIT. Модель подходит для заполнения пропусков и оценки влияния факторизации эмбеддингов в экспериментах BabyLM. В README описана оценка на задачах языкового понимания и последующая настройка на GLUE/SuperGLUE, но сама модель является masked language model, а не готовым чат-ассистентом или генератором текста. Результаты качества в карточке не приведены.

miguelcsx/mosaic-sleep-d384-bbpe16k — англоязычная компактная модель masked language modeling от автора miguelcsx, опубликованная как один из пяти контролируемых запусков семейства BabyLM Strict-Small. Это плотный masked encoder в стиле LTG-BERT с относительным вниманием: в README указано 33,3 млн параметров, 12 слоёв и размер скрытого состояния 384; метаданные каталога относят архитектуру к TOLM и указывают класс TOLMForMaskedLM. Модель обучена на корпусе miguelcsx/babylm-2026-mosaic-bpe-corpus и предназначена для предсказания замаскированных фрагментов и исследовательских экспериментов с языковым обучением на ограниченных данных. Вариант использует совместную рецептуру перекомпоновки корпуса и вспомогательных шумовых целей, а также выборочную самодистилляцию с EMA-состояния того же запуска. В README приведены результаты локальных оценок BabyLM и настройки обучения, включая bfloat16 и 16 384 токена на обновление; заявлений о лидерстве или превосходстве карточка не делает. Модель завершила локальные конвейеры zero-shot, чтения, AoA и дообучения, но остаётся небольшой masked LM, а не универсальным чат-ассистентом. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия обозначена как other, поэтому условия использования следует сверять с файлами репозитория. Карточка отмечает, что это единственный запуск данной рецептуры: он не позволяет оценить разброс между запусками или делать причинные выводы о влиянии рецептуры.

MsBERT (Manuscript BERT) — специализированная предварительно обученная модель BERT, разработанная для работы с текстами еврейских рукописей. Она предназначена прежде всего для предсказания пропущенных слов в фрагментарных транскрипциях рукописей разных жанров; также авторы сообщают о её применении для различения цитируемых фрагментов и экзегетических пояснений. Модель решает задачу заполнения пропусков в тексте (fill-mask), имеет около 211,6 млн параметров и контекстное окно до 512 токенов. Она ориентирована на иврит и рукописные тексты; формат весов в репозитории — safetensors. Авторы сообщают о более высоких результатах предсказания пропусков по сравнению с другими моделями BERT для иврита. Модель доступна для бесплатного скачивания и использования без ограничений; в метаданных указана лицензия CC BY 4.0. Она предназначена для поддержки исследований рукописей, а предсказания пропущенных слов следует сверять с источниками и экспертной оценкой.

coffeeee/nsfw-story-generator — модель на архитектуре GPT-2, доступная в формате PyTorch. В карточке указано, что она предназначена для генерации вымышленных историй и может создавать неуместный или оскорбительный контент. Модель принимает текст и возвращает признаки; в метаданных для неё указан pipeline-тег feature-extraction, поэтому фактическую генерацию историй по этому тегу подтвердить нельзя. Указанная длина контекста — 1024 токена. Лицензия и размер модели в предоставленных данных не указаны.