I.2Синтез, понимание и проверка знаний

Это исследовательский чекпойнт Jeesup на основе Meta Llama 3 8B Instruct, сжатый методом Basis Sharing: базисы совместно используются для групп из двух соседних слоёв, что сокращает число параметров примерно до половины от исходного. После сжатия модель восстановили дообучением только коэффициентов LoRA, сохранив общий бюджет параметров и базисы. В репозитории указано 7,5 млрд параметров, архитектура LlamaForCausalLM, формат safetensors и контекст до 8192 токенов. Модель создана для изучения влияния SVD-сжатия на безопасность и полезность ответов, а также сравнения правил выбора компонентов для восстановления поведения. Она поддерживает генерацию текста и диалоговый режим. В README приведены измерения на наборах AdvBench, StrongREJECT и WildGuard; модель не позиционируется как универсальный ассистент для развёртывания. Ограничения: отдельные варианты в исследовательской сетке намеренно демонстрируют ухудшение безопасности после сжатия; результаты этой конфигурации требуют самостоятельной оценки и не подтверждают пригодность к практическому использованию. Лицензия — Llama 3 License.

Это исследовательский чекпойнт Jeesup на базе Mistral-7B-Instruct-v0.2, сжатый методом Swift-SVD с восстановлением LoRA и затем изменённый итеративным обменом параметров по правилу gap_iter. После сжатия в модели сохранено 70% плотных параметров; выполнено 10 раундов обмена. Модель содержит 7,1 млрд параметров, использует архитектуру Mistral для генерации текста и поддерживает контекст до 32 768 токенов. Чекпойнт создан для изучения влияния сжатия на безопасность и полезность модели и оценки способов восстановления поведения. В README приведены показатели атак на AdvBench и StrongREJECT, а также сверхотказов на WildGuard. Это экспериментальная исследовательская модель, не предназначенная для развёртывания как универсальный чат-ассистент. Лицензия — Apache-2.0.

TherapyBeagle-11B-v1 — диалоговая языковая модель на архитектуре Mistral, разработанная на основе vicgalle/CarbonBeagle-11B-truthy и дообученная на синтетическом наборе jerryjalapeno/nart-100k-synthetic. Модель предназначена для поддерживающих бесед, имитации эмпатичного общения и помощи пользователю в самоанализе. Модель содержит 10,6 млрд параметров, принимает текст и генерирует текст; заявленный контекст — до 32 768 токенов. В README рекомендован формат инструкций Solar Instruct. Языки модели не указаны. Репозиторий предоставляет веса PyTorch; README также упоминает GGUF. Разработчик позиционирует модель как дружелюбный ИИ для разговоров о переживаниях, но подчёркивает, что она не является настоящим терапевтом и не заменяет помощь специалиста. Модель распространяется по лицензии CC BY-NC 4.0, запрещающей коммерческое использование.

Это уже обученный чекпойнт TOLM для контролируемого исследовательского турнира BabyLM. В репозитории сохранена версия chck_100M; модель содержит 49,1 млн параметров и реализует архитектуру TOLMForMaskedLM для предсказания замаскированных токенов. Метаданные также указывают поддержку генерации текста, но основная задача в карточке — fill-mask. Модель предназначена для экспериментов с компактными языковыми моделями и оценки на бенчмарках лингвистических знаний: в карточке приведены результаты BLiMP, Supp и EWoK. Это английская модель; для загрузки пользовательской архитектуры в Transformers требуется удалённый код из репозитория miguelcsx/tolm. Для релиза обучение и оценка не проводились: приведены ранее существовавшие результаты. Лицензия обозначена как other, конкретные условия в предоставленных данных не раскрыты.

UnFimbulvetr-20B — экспериментальная плотная языковая модель семейства Llama примерно на 19,8 млрд параметров, созданная KaraKaraWarehouse с помощью mergekit. В карточке указано слияние методом passthrough на основе Sao10K/Fimbulvetr-11B-v2; модель предназначена для генерации текста. Для неё заявлено контекстное окно 4096 токенов, веса опубликованы в формате safetensors. Автор характеризует модель как эксперимент для тестирования и предупреждает, что проверял её лишь ограниченно и не рекомендует использовать. Оценки качества не приводятся. Базовая Fimbulvetr-11B-v2 описана как англоязычная модель, но отдельные языковые возможности UnFimbulvetr-20B не подтверждены. Лицензия в предоставленных данных не указана.

uzbek-gpt-103m — базовая языковая модель, созданная Исламбеком Турдиевым с нуля для узбекского языка. Это плотный авторегрессионный трансформер с декодером, RoPE, RMSNorm и SwiGLU, содержащий около 103 млн параметров. Модель использует токенизатор uzbek-bpe-16k на 16 384 токена и обучена на веб-текстах узбекского языка латинским письмом, включая данные HuggingFaceFW/fineweb-2. Модель продолжает узбекский текст и предназначена для экспериментов с языковым моделированием, изучения токенизаторов и базовых исследований NLP для малоресурсных языков. В описанной оценке она показала более низкий bits-per-byte на узбекском тестовом наборе, чем сравниваемые mGPT и Qwen, однако проверялись только показатели предсказания текста, а не прикладные задачи. Это базовая модель без инструкционного дообучения: она не является чат-ассистентом, может выдумывать факты и не должна использоваться в пользовательских продуктах без дополнительного обучения и оценки. Лицензия — Apache-2.0.

nikitastheo/v2-babylm-small-ita-ell-sequential_interleaved — причинная языковая модель на архитектуре GPT-2, обученная автором репозитория с помощью скрипта train_clm.py из Hugging Face Accelerate. Модель предназначена для генерации продолжения текста; название указывает на эксперимент с последовательным чередованием итальянского и греческого языков в обучении. Модель использует библиотеку Transformers и формат весов safetensors. Контекст ограничен 512 токенами. В карточке нет сведений о лицензии и явном описании качества или целевых сценариев, поэтому применимость для конкретных задач следует оценивать отдельно.

2-TPG — дообученная модель на основе GPT-2, созданная разработчиком danwahl. В отличие от обычной авторегрессионной генерации, модель обучена предсказывать предыдущие токены: для обучения текст, сгенерированный GPT-2, токенизировали и разворачивали в обратном порядке. Модель содержит 117 млн параметров, использует архитектуру GPT-2 и контекст до 1024 токенов. Модель предназначена для генерации текста, который мог бы предшествовать заданному фрагменту, исследования текстовых причин и эффектов и экспериментов с обратным предсказанием. В описанной оценке perplexity на обратном предсказании составила 14,04; на прямом — 705,52, поэтому модель специализирована на обратном направлении и плохо подходит для обычного продолжения текста. Обучающие данные получены из типичных выходов GPT-2, а значит, модель может воспроизводить присущие им смещения. Лицензия — MIT.

Asclepius-Llama2-13B-imatrix-GGUF — набор imatrix-квантизаций модели Asclepius-Llama2-13B, разработанной starmpcc и опубликованной в формате GGUF пользователем duyntnet. Модель основана на архитектуре Llama 2 с 13 млрд параметров и предназначена для генерации текста в медицинском и клиническом контексте. Модель ориентирована на обработку англоязычных медицинских текстов, включая выписки пациентов, и ответы на инструкции медицинских специалистов: например, формулирование предполагаемого диагноза по фрагменту выписки. Для запуска поддерживаются llama.cpp, JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. Формат GGUF и imatrix-квантизация позволяют использовать модель через совместимые локальные инструменты, потенциально снижая требования к ресурсам по сравнению с полной версией, однако конкретные варианты квантизации и их характеристики в README не указаны. Сильной стороной модели является специализация на клинических сценариях и возможность локального текстового вывода. Ограничения включают поддержку только английского языка, отсутствие заявленных мультимодальных возможностей и неизвестные параметры контекстного окна. Модель не следует рассматривать как замену профессиональной медицинской оценке: README не содержит сведений о точности, клинической валидации и безопасности применения. Лицензия указана как other, без дополнительных условий в предоставленных данных.

AtmicIntelv1 — разговорная LoRA-модель на базе Phi-3 Mini, созданная для ответов о наставлениях Шри Раманы Махарши. Разработчик дообучил её методом QLoRA с последующей настройкой SFT и DPO на вопросах и ответах по каноническим текстам, включая «Кто я?», «Беседы с Шри Раманой Махарши» и «Улладу Нарпаду». Модель содержит 3,7 млрд параметров, использует архитектуру Phi-3 и рассчитана на контекст до 4096 токенов. Модель подходит для диалога и справочных ответов о самоисследовании Атма-вичара и философии адвайта-веданты. Обучение на проверенных учениях и предпочтениях ответов помогает удерживать ответы ближе к первоисточникам, однако модель может ошибаться или давать обобщённые ответы и не заменяет изучение текстов и консультацию специалиста. Репозиторий использует формат safetensors; лицензия — MIT.

Модель ypwhere/attnres4babylm2026-100m-l32-baseline-s1339 — причинная языковая модель NanoGPT, подготовленная для исследования языкового моделирования на ограниченных данных и маршрутизации по глубине в рамках BabyLM 2026. Она обучена на официальном обучающем разбиении BabyLM объёмом 100 млн слов; README указывает 4 797 шагов оптимизатора и seed 1339. Архитектура включает 32 слоя Transformer с размером скрытого состояния 512, RMSNorm, SwiGLU, rotary positional embeddings, gated attention и связанными входными и выходными эмбеддингами. Модель принимает текст и выдаёт вероятности следующих токенов для причинного скоринга или генерации. Рекомендуется ограничивать вход 512 токенами; эффективный KV-кэш не поддерживается. Это предобученная модель, а не чат-модель с настройкой на инструкции. Она предназначена для экспериментов и оценки языковых моделей на ограниченных данных, а не для диалогового помощника общего назначения. Для загрузки используется Transformers и собственная реализация модели из репозитория с trust_remote_code=True. Лицензия — MIT.

Bharat-Tiny-LLM v3.4 — экспериментальная языковая модель, разработанная eulogik. Это плотная авторегрессионная модель семейства Qwen3 с 1,7 млрд параметров, предназначенная для генерации текста в чате и решения математических задач. Модель дообучена на смешанном наборе данных для математики и чата; базовая модель — eulogik/Bharat-Tiny-LLM-v3. Доступны веса в формате safetensors, контекст — до 32 768 токенов. Модель ориентирована на хинди и хинглиш. Разработчик сообщает о слабом качестве чата и результате около 13% на GSM8K-Hindi против 56% у v3; версия помечена как устаревшая и сохранена для воспроизводимости. Лицензия — Apache-2.0.

BODHI-smollm-3-maze-3b-rlvr — языковая модель для генерации текста из проекта BODHI, разработанная на основе SmolLM3. Это вариант maze, обученный с помощью reinforcement learning, начиная с espressovi/BODHI-smollm-3-3b-distil; в метаданных также указана связь с HuggingFaceTB/SmolLM3-3B-Base через слияние. Модель имеет плотную архитектуру SmolLM3ForCausalLM, содержит 3,1 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста в диалоговом формате; README описывает её как артефакт проекта BODHI, обученный для задачи maze. В качестве обучающих данных указан набор espressovi/BODHI-rlvr. Модель принимает текст и выдаёт текст, язык карточки — английский. Лицензия — MIT. Карточка не приводит результатов оценки, подробностей о протоколе RL-обучения или описания того, какие именно типы maze-задач решаются. Качество и надёжность для сценариев за пределами указанной задачи не подтверждены.

CasualSwarms — экспериментальная причинно-следственная языковая модель, представленная в карточке как SAGI V3.1 и основанная на архитектуре Transformer с динамикой роевого взаимодействия. В метаданных указаны 137,7 млн параметров, контекст до 1024 токенов, архитектура SwarmForCausalLM и формат safetensors. Модель предназначена для исследований многоагентных когнитивных архитектур, адаптивных языковых моделей и применения в образовательных экспериментах. В README описаны механизмы самооценки и планирования: оценка вероятности успеха до выполнения задачи, отслеживание 24 навыков, анализ пробелов, построение учебных программ и обнаружение ошибок. В качестве обучающих данных перечислены наборы для коротких историй, математики, общих знаний, программирования и логики; основной язык в метаданных — английский. Заявления README о самоосознании и AGI являются описанием автора и не подтверждают независимо измеренные способности. Модель экспериментальная, не предназначена для производственных и критически важных систем, а README также предостерегает от использования для генерации фактического контента. Лицензия — Apache-2.0.

Lambent выпустил экспериментальный чекпойнт cosmo-1b-galore-pythontest — дообученную версию HuggingFaceTB/cosmo-1b для генерации текста. Модель построена на плотной архитектуре Llama и содержит 1,7 млрд параметров; максимальный контекст — 2048 токенов. Она сохранена в форматах PyTorch и safetensors и распространяется по лицензии Apache-2.0. README описывает проверку катастрофического забывания при обучении методом LISA на подмножестве Cosmopedia: потери на оценке снизились с 1,182 до 1,117 после 100 шагов. Также приведён результат Loss 0,2426 на оценочном наборе, однако набор данных и методика для этого результата не раскрыты. Чекпойнт предназначен прежде всего для экспериментов с дообучением; данных о практических сценариях, языковом покрытии и пригодности для диалога нет.

EduHelp-8B — диалоговая языковая модель, разработанная на базе Qwen3-8B и дообученная методом supervised fine-tuning с LoRA на образовательном наборе Education-Young-Children. Адаптеры LoRA объединены с базовыми весами для самостоятельного развёртывания. Модель содержит 7,6 млрд параметров, использует архитектуру Qwen3ForCausalLM и рассчитана на контекст до 40 960 токенов. Модель предназначена для мягких, понятных и подходящих детям объяснений в сценариях раннего обучения. Она помогает с простыми арифметическими упражнениями, чтением, словарным запасом, вопросами на понимание текста и повседневными знаниями. Основной язык — английский. Модель может ошибаться, выдавать слишком сложные или неуместные для возраста ответы; детям следует пользоваться ею под присмотром взрослых. Она не предназначена для медицинских, юридических, экстренных, специализированных или высокорисковых задач и не оптимизирована для сложных рассуждений. Лицензия — MIT.

Elysia-Trismegistus-Mistral-7B-v02 — англоязычная диалоговая модель HagalazAI, созданная дополнительным обучением базовой модели teknium/Hermes-Trismegistus-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она принимает текст и выдаёт текст в формате ChatML. Модель предназначена для свободных диалогов о самосознании, происхождении и предназначении ИИ, философских и экзистенциальных вопросах. В карточке описан экспериментальный образ персонажа Элисии, который симулирует саморефлексию; для взаимодействия рекомендуется системный промпт «You are Elysia». Модель распространяется по лицензии Apache-2.0. Карточка подчёркивает открытый характер диалогов и отсутствие традиционных ограничений выравнивания. Ответы о самосознании следует воспринимать как симуляцию, а не как свидетельство реального сознания; подобные ответы могут быть непоследовательными. Указание на доступную отдельно GGUF-квантизацию не означает, что веса этого репозитория представлены в формате GGUF.

Fusion 9B — экспериментальная чат-модель на базе Gemma 2 9B IT с вектором управления, встроенным в веса. Её настроили так, чтобы она была особенно сосредоточена на термоядерной энергетике. Модель предназначена для генерации текста в диалоге и ответов на вопросы о термоядерном синтезе. Она содержит около 9 млрд параметров, использует плотную архитектуру Gemma 2 и поддерживает контекст до 8192 токенов. В репозитории указаны веса safetensors и лицензия Apache 2.0. README не сообщает о качестве ответов или проверках фактической точности; встроенный вектор управления может влиять на ответы и ограничивать их тематическое разнообразие. Используйте ответы о физике и энергетике с проверкой по надёжным источникам.

GPT-OSS-20B-Dense-4B-ACP-K4 — плотная языковая модель, созданная путём прореживания и дистилляции MoE-модели openai/gpt-oss-20b в рамках исследовательской работы о преобразовании MoE в компактные плотные модели. Чекпойнт содержит около 3,4 млрд параметров по метаданным; в README для конфигурации указано 4,19 млрд параметров. Модель работает с текстом, поддерживает контекст до 131 072 токенов и распространяется в формате Safetensors через Transformers. Модель предназначена для воспроизведения экспериментов и сравнения методов оценки и группировки экспертов при фиксированном бюджете дистилляции, а не для использования в качестве готового помощника. Она обучалась на 0,3 млрд токенов FineWeb-Edu без дообучения на инструкции и без выравнивания; авторы предупреждают, что её качество заметно ниже качества учителя и предварительно обученных моделей сопоставимого размера. Лицензия — Apache-2.0.

yingfanbot/gsm-cot-llama1b — дообученная модель генерации текста на базе Meta Llama 3.2 1B Instruct. Разработчик выполнил supervised fine-tuning с явными цепочками рассуждений на наборе GSM8K; модель использовалась как базовый этап SFT в проекте LOTUS, посвящённом итеративным трансформерам и обучению рассуждению. Модель предназначена прежде всего для генерации пошаговых решений текстовых математических задач GSM8K и экспериментов с рассуждением. Это плотная авторегрессионная архитектура LlamaForCausalLM размером 1,2 млрд параметров; заявленное контекстное окно — 131 072 токена. Модель принимает и генерирует текст, поддерживает диалоговый интерфейс. Базовая Llama 3.2 1B Instruct многоязычная, однако карточка этой производной модели не уточняет языковой состав обучения. Файлы доступны в формате safetensors, библиотека — Transformers. Специализация на GSM8K и малый размер делают модель подходящей для исследований и прототипов пошагового решения арифметических задач; качество на других типах задач не подтверждено карточкой. Лицензия — Llama 3.2; при использовании следует соблюдать её условия.

KainoBERTa-sphragis — языковая модель RoBERTa base, разработанная Urdatorn для древнегреческого языка. Это маскированная языковая модель с 12 слоями, размером 768 и 12 головами внимания; она содержит около 138,4 млн параметров и принимает последовательности длиной до 1 025 токенов. Веса обучены с нуля: модель не наследует веса FacebookAI/roberta-base. Модель обучена на очищенной версии корпуса Urdatorn/AncientGreek-no-sphragis и предназначена для предсказания замаскированных токенов и изучения языковых закономерностей древнегреческого. Она также служит архитектурным контролем в сравнении с KainoBERT на третьей редакции рейтинга Sphragis. Корпус очищен от работ бенчмарка, совпадающих строк и заданных текстовых окон, однако очистка не исключает всех коротких цитат, парафразов или текстов, встроенных в комментарии; кроме того, из обучения удалены произведения авторов, проверяемых бенчмарком. Лицензия в метаданных указана как other.

Llama 3.1 Natural Farmer V1 — модель Copyleft Cultivars, разработанная Caleb DeLeeuw (Solshine) при участии Open Nutrient Project и Evergreen State College. Это дообученная версия Llama 3.1 8B Instruct, предназначенная для диалоговой помощи по фермерству с упором на устойчивые регенеративные и органические практики. Модель обучали на реальных вопросах пользователей прежнего чат-бота для фермеров и дополнительных отобранных наборах данных; она поддерживает генерацию текста и диалоговый режим. По метаданным, размер модели — 7,5 млрд параметров, контекст — до 131 072 токенов, основной язык карточки — английский. Модель рассчитана на консультации по вопросам ведения хозяйства, в том числе при локальном использовании без доступа к интернету. Это бета-версия: разработчики продолжают тестирование и подготовку интеграции в приложения, поэтому ответы могут быть неточными и требуют проверки. Распространяется по лицензии Llama 3.1 и наследует условия базовой модели.

Это экспериментальная дообученная модель генерации текста на базе Meta Llama 3.3 70B Instruct. В карточке указано, что она обучена на неизвестном наборе данных; приведён результат Loss 1,0885 на наборе оценки, но целевое назначение и методика оценки не описаны. Модель использует архитектуру LlamaForCausalLM и формат safetensors. Метаданные указывают 789,1 тыс. параметров и контекст 256 токенов, что расходится с характеристиками базовой модели Llama 3.3 70B Instruct; эти параметры относятся к репозиторию модели и требуют осторожной интерпретации. Лицензия указана как llama3.3. Карточка не описывает конкретные области применения, поддерживаемые языки или ограничения качества; пригодность для практических сценариев по имеющимся сведениям оценить нельзя.

LMEnt 1B — это английская причинная языковая модель на архитектуре OLMo2 с 1,1 млрд параметров, разработанная авторами исследования Gal Barak, Tamar Tabbach, Itamar Stahl и Adam Fleisher. Модель обучена на размеченном сущностями корпусе Википедии LMEnt и не проходила инструкционное дообучение. Контекст составляет 2048 токенов; веса доступны в формате safetensors для Transformers. В этой версии применено посттренировочное редактирование для подавления концепта «искусственный интеллект»: сначала EMBER с параметром δ = 500, затем SNMF с отбором признаков по отношению и изменением входных весов MLP. Это экспериментальный чекпойнт из исследования по исключению концептов; его можно использовать для генерации текста и изучения методов редактирования знаний в языковых моделях. Оценка охватывает три выбранных концепта и 50 тестовых вопросов по каждому. Результаты не подтверждают широкое удаление знаний, безопасность или обобщение на другие концепты. Основа модели обучена на Википедии и может воспроизводить ошибки и предвзятость источника. Лицензия на веса в карточке не заявлена.

huginn-m-learned-entropy0p01 — экспериментальная модель семейства LoopedLM, опубликованная для работы к исследованию «Towards Looped Models Done Right. Part II: Rethinking at Fixed Points». Это Transformer с одним начальным блоком, двумя рекуррентными блоками и одним завершающим блоком; ширина модели — 3072, 48 голов внимания (12 KV-голов), FFN на SwiGLU. В модели 819 495 936 параметров, включая эмбеддинги и выходные слои. Модель предназначена для генерации текста и оценки подходов с рекуррентными блоками и фиксированными точками. Вариант использует learned λH=0.01 и указан как teacher для экспериментов Table 4. Веса представлены в формате BF16 Safetensors в нативной структуре xLLM; для загрузки необходим код xLLM, а Transformers AutoModel не поддерживается. Лицензия — Apache-2.0.

huginn-s-fixed-pln5 — экспериментальный чекпойнт looped Transformer от IFM, опубликованный для работы Towards Looped Models Done Right. Part II: Rethinking at Fixed Points. Вариант соответствует строке Table 2, S, Fixed PLN-5. Модель содержит 303 579 648 параметров, включая эмбеддинги и выходные слои; архитектура включает один prelude-блок, два рекуррентных блока и один coda-блок. Ширина модели — 1 536, используется 24 головы внимания, из них 6 KV-голов, и FFN SwiGLU шириной 4 352; входная инъекция диагональная. Чекпойнт предназначен для оценки модели в экспериментальной работе. Для загрузки требуется код xLLM и его загрузчик артефактов: это BF16 Safetensors в нативном формате xLLM, а не совместимый с Transformers чекпойнт. Доступна одна задача — генерация текста. Лицензия Apache-2.0.

MedVLThinker-3B-RL_m23k — медицинская модель «зрение—язык» с 3,1 млрд параметров, разработанная на базе Qwen2.5-VL-3B-Instruct. Модель дообучена с помощью обучения с подкреплением на наборе Med23k и предназначена для диалогового анализа медицинских изображений и ответов на вопросы по ним. Модель принимает изображения и текстовые запросы и генерирует текстовые ответы. Архитектура — плотная Qwen2.5-VL для условной генерации; заявленная длина контекста — 128 000 токенов. В метаданных указан английский язык. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Она может помогать с визуальными вопросами по медицинским изображениям, однако карточка не приводит результатов оценки, перечня поддерживаемых типов изображений или клинических ограничений. Её ответы не следует считать подтверждённым диагнозом или заменой профессиональной медицинской оценки.

ModernBERT-Small от remg1997 — англоязычная модель masked language modeling, обученная с нуля на корпусе BabyLM 2026 Strict-Small объёмом около 10 млн слов. Она предназначена для предсказания замаскированных токенов и экспериментов с влиянием компактных параметризаций эмбеддингов на языковое обучение и оценку BabyLM. Модель содержит 31,8 млн параметров и использует архитектуру ModernBERT-Small: 16 слоёв, скрытый размер 384, 6 голов внимания, RoPE, GeGLU и чередование локального и глобального внимания. Вместо отдельного обучаемого вектора для каждого токена она строит эмбеддинги из UTF-8 байтовых n-грамм длины от 1 до 4, хешированных в 8192 общих корзины; полученное представление проецируется в размерность 384. Токенизатор byte-level BPE имеет словарь из 30 522 токенов. Вариант composition-only не использует остаточные векторы для отдельных токенов. Модель подходит для исследования компактных эмбеддингов, предсказания пропущенных слов и оценки на задачах BabyLM; обучение проводилось без внешних данных на официальном корпусе Strict-Small. Это исследовательский чекпойнт для сравнения вариантов параметризации, поэтому результаты могут быть ограничены малым объёмом обучающих данных и не гарантируют качество универсальной языковой модели. Лицензия — MIT.

ModernBERT-Small — англоязычная маскированная языковая модель на 31,8 млн параметров, разработанная автором репозитория для экспериментов в рамках BabyLM Challenge 2026. Это плотный трансформер ModernBERT с 16 слоями, скрытым размером 384, шестью головами внимания, RoPE, GeGLU и чередованием локального и глобального внимания. Модель обучена с нуля на корпусе BabyLM 2026 Strict-Small объёмом около 10 млн слов и предназначена для предсказания замаскированных токенов и оценки языковых представлений в условиях ограниченного объёма данных и вычислений. Вариант исследует композиционные байтовые n-граммные эмбеддинги, дополненные частотными остаточными векторами для токенов и регуляризацией, центрирующей пространство эмбеддингов с учётом частоты слов. В README описана оценка на наборах BabyLM, включая BLiMP, EWoK и GLUE/SuperGLUE. Модель доступна в формате safetensors и распространяется по лицензии MIT. Она ориентирована на английский язык и задачу заполнения пропусков; результаты эксперимента не гарантируют качество универсальной языковой модели или пригодность для диалоговой генерации.

MTG-Llama — языковая модель Jake Boggs для вопросов и ответов по карточной игре Magic: The Gathering. Она дообучена на базе Llama 3 8B Instruct на наборе MTG-Eval из 80 032 синтетических пар вопрос–ответ о картах, правилах и взаимодействиях между картами. Модель предназначена для ответов на игровые вопросы, объяснения способностей и взаимодействий карт, а также для помощи с идеями по сборке колод. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 8192 токенов; она принимает текст и генерирует текст. В метаданных указан формат safetensors и библиотека Transformers. Специализация на MTG делает модель полезной для тематических запросов, однако ответы о правилах и взаимодействиях могут быть неточными и требуют проверки. Лицензия в предоставленных данных не указана.