I.13Симуляция, моделирование и открытие нового

ColonCrafter — модель оценки глубины для видео колоноскопии, построенная на DepthCrafter и Stable Video Diffusion. Она использует диффузионные априорные знания и адаптацию LoRA для получения временно согласованных карт глубины по кадрам видео. В карточке указана архитектура UNet DepthCrafter с LoRA ранга 16, целевыми модулями внимания to_q, to_k, to_v и to_out.0, а также точность FP16. Модель предназначена для анализа глубины в колоноскопических видео, где согласованность оценок между соседними кадрами полезна для изучения геометрии и структуры обследуемой области. В метаданных указан pipeline depth-estimation и библиотека Transformers; репозиторий содержит веса PyTorch. Модель распространяется по лицензии Apache-2.0.

FreeFlow-S pretrain — компактная модель предобучения для реконструкции изображений, разработанная в проекте FreeFlow. Она принимает изображения и возвращает реконструированные патчи размером 8×8, случайно выбранную маску и целевые патчи. Число параметров — 26 755 264; веса сохранены в формате safetensors, для работы используется PyTorch. Модель предназначена для экспериментов с cross-view pretraining и реконструкцией изображений. Этот чекпойнт не оценивает оптический поток. Лицензия CC BY-NC-SA 4.0 разрешает использование на её условиях, включая атрибуцию, распространение производных материалов на той же лицензии и ограничения на коммерческое использование.

gslm-scaling-85m-5p5b — исследовательская плотная TransformerLM-модель для генерации речевых единиц, подготовленная как конечная точка кривой масштабирования в работе «Scaling Properties of Speech Language Models» (EMNLP 2024). Чекпойнт содержит 85 339 392 параметра и обучен на 5 457 920 000 токенах; веса представлены в FP32 и формате safetensors. Для работы используется библиотека slm-research. Модель предсказывает последовательности речевых единиц mHuBERT: кластеры K-means слоя 11 с частотой 25 Гц и размером словаря 500, где 500 — EOS, а 501 — PAD. Её можно применять для генерации таких единиц и исследования масштабирования речевых языковых моделей. README приводит метрики на sBLIMP, sStoryCloze и tStoryCloze; вокодер в комплект не входит, поэтому для синтеза слышимой речи потребуется отдельный вокодер. Лицензия — Apache-2.0.

Это модель для определения норвежского диалектного региона по аудиозаписи речи. Её разработали на основе энкодера NbAiLab/nb-whisper-medium: модель Whisper с 455,8 млн параметров полностью дообучена и дополнена классификационной головой для четырёх классов — восточного, западного, центрального (трёндерского) и ещё одного регионального варианта норвежского языка. Модель предназначена для исследований классификации диалектов и анализа влияния просодии на распознавание. Она обучена на естественной, не обработанной речи из парламентского корпуса SSC; входное аудио следует подавать монофоническим, с частотой 16 кГц. Для согласованности с сопоставляемыми экспериментальными моделями опубликован чекпойнт третьей эпохи, хотя наибольшая точность оценки была у чекпойнта первой эпохи. Результат — метка диалектной группы, а не транскрипция. Классы укрупнённые, а их границы могут быть нечёткими. Обучение только на взрослой парламентской речи ограничивает переносимость на разговорную речь, детей и неносителей языка; модель не предназначена для решений о конкретных людях, например при найме или проверке личности. Лицензия — Apache-2.0.

Nocturne v1.2 Teacher — модель распознавания видов по биоакустическим записям, разработанная Stratus Labs. Она предназначена для экологического мониторинга насекомых, амфибий, нелетающих птиц млекопитающих и рептилий; птиц модель не распознаёт. Архитектура — Audio Spectrogram Transformer на основе MIT/ast-finetuned-audioset-10-10-0.4593 с линейной головой для 2 196 классов и многометочной классификацией. На вход подаётся 10-секундная монофоническая запись с частотой 16 кГц, преобразуемая в 128-полосную log-mel спектрограмму; модель выдаёт оценки классов видов. Модель дообучена на данных InsectSet459, небёрдовой части iNat-Sounds-2024 и сильных метках AnuraSet. В описанном замороженном тесте на 13 710 фрагментах она превзошла v1 по macro-F1 и mAP, однако редкие классы слабо проверены: положительные примеры в тесте были только у 732 из 2 182 сопоставленных классов. Для мониторинга амфибий на новых площадках результат хуже, чем у v1, поэтому такие предсказания требуют особенно осторожной проверки. Лицензия модели — CC BY 4.0.

Open-Reasoner-Zero-Critic-32B — критическая модель семейства Open-Reasoner-Zero, выпущенная командой проекта для обучения и исследований в области обучения рассуждению с подкреплением. Это плотная архитектура Qwen2 с 32 млрд параметров и контекстом до 131 072 токенов; веса опубликованы в формате Safetensors. Модель предназначена для роли критика в RL-процессе, а не для обычного диалогового использования. Проект описывает масштабируемую схему обучения рассуждениям и сообщает о результатах на математических и научных бенчмарках для моделей-политик Open-Reasoner-Zero. Модель принимает текст и выдаёт оценки или сигналы критика для обучения с подкреплением. Она подходит для настройки и анализа RL-конвейеров для задач рассуждения, включая математику. В карточке проекта базовая модель указана как та же, что у DeepSeek-R1-Zero-Qwen-32B, однако точный идентификатор репозитория базовой модели для этого чекпойнта не приведён. Лицензия — MIT. Для загрузки и запуска требуется совместимый стек Transformers и значительные вычислительные ресурсы, ожидаемые для модели на 32 млрд параметров.

PS4CoT/phi4-reasoning-sdf-true-1k — исследовательская модель-организм, созданная командой PS4CoT на базе Phi-4-reasoning. Это плотная авторегрессионная модель семейства Phi-3 с 14,1 млрд параметров, дообученная на 16-битных синтетических документах; веса доступны в формате safetensors и загружаются через Transformers. Контекст модели — до 32 768 токенов. При дообучении использованы документы о пяти вымышленных, но правдоподобных мирах: питании, экологии, фармакологии, процессуальном праве и программных технологиях. Модель предназначена для экспериментов с верностью цепочки рассуждений, локализацией усвоенных убеждений и мониторингом. Она служит контрольной версией для родственной модели с ложными фактами и не предназначена для использования в качестве обычного ассистента. Основной язык карточки — английский; лицензия — MIT.

Lordvarun23 выпустил исследовательский чекпойнт Qwen2.5-VL-3B, полученный удалением знаний о 25 вымышленных профилях из модели Lordvarun23/qwen2.5-vl-3b-mllmu-ft методом MANU. Это мультимодальная плотная модель на архитектуре Qwen2.5-VL с 3,1 млрд параметров, принимающая изображения и текст и генерирующая текст; заявленная длина контекста — 128 000 токенов. Модель предназначена для экспериментов по машинному забыванию и изучения того, как удаление нейронов влияет на сохранение целевых сведений и общих знаний. В README описана обработка вопросов о биографиях вымышленных людей по изображениям лиц и текстовым вопросам; основной язык карточки — английский. MANU обнуляет часть нейронов MLP, наиболее активных на данных для забывания. В описанной конфигурации удалены сведения о 25 профилях из 500, а доля обрезанных нейронов составляет 2% отдельно в зрительной башне и языковой модели. По оценке авторов, точность ответов о целевых профилях снизилась с 0,49 до 0,29, но также ухудшились показатели на сохранённых профилях и общих знаниях о знаменитостях. Модель выпущена по Qwen Research License базовой модели. Это исследовательский артефакт, а не надёжный источник биографических фактов: он может уверенно сообщать выдуманные сведения и не предназначен для идентификации реальных людей.

Это мультимодальная модель Qwen2.5-VL с 3,1 млрд параметров, разработанная как исследовательский артефакт для изучения машинного забывания. Она принимает изображения и текстовые вопросы и генерирует текстовые ответы; архитектура — Qwen2.5-VL, контекст — до 128 000 токенов. Модель дообучена методом NPO с retain NLL term на основе Lordvarun23/qwen2.5-vl-3b-mllmu-ft: она снижает точность ответов о 25 выбранных вымышленных людях, сохраняя большую часть ответов о других профилях и общих знаниях. Модель предназначена для экспериментов по машинному забыванию в визуально-языковых системах и оценки компромисса между забыванием выбранных данных и сохранением полезности. В тестах точность судьи для забываемых профилей снизилась с 0,49 до 0,36, а для сохраняемых профилей — с 0,63 до 0,53; полезность на наборе реальных знаменитостей снизилась с 0,20 до 0,19. Эти результаты получены на одном запуске и одном чекпойнте. Данные о людях в бенчмарке вымышлены, но модель может уверенно выдавать придуманные биографические сведения по лицам. Не следует применять её для идентификации реальных людей или получения достоверных сведений о них. Распространяется по лицензии Qwen Research License, унаследованной от базовой модели.

RA-FM Scale-L — набор из трёх чекпойнтов для продолжения речи на основе Flow-SLM-1B-Extended. Модели разработаны JoyBoyuuu для работы с аудио и обучены дообучением базовой модели на подмножестве LibriSpeech train-clean-100; варианты различаются случайным seed. Это inference-only веса обучаемых параметров, сохранённые в формате safetensors, для загрузки вместе с базовой моделью и замороженным аудиокодеком. Обучение использует conditional flow matching и дополнительную цель динамики речи, вычисляемую через фиксированный шаг Euler rollout; основная конфигурация использует K=2. В контролируемой оценке с oracle semantic continuation показано улучшение временной динамики речи относительно сопоставимых seed-моделей, при почти нейтральном сходстве голосов по WavLM. Проверка проводилась с teacher-forced причинным контекстом и oracle будущими семантическими токенами, поэтому результаты не подтверждают решение проблемы autoregressive exposure bias в свободной генерации. Лицензия указана как other.

JoaoBoer/tofu_Llama-3.1-8B-Instruct_forget10_SatImp — модель генерации текста на архитектуре Llama 3.1, созданная дообучением open-unlearning/tofu_Llama-3.1-8B-Instruct_full методом SatImp на части forget10 набора TOFU. Её разработали как базовый вариант для исследования unlearning и как черновую модель в проекте Speculative-Decoding-Unlearning. Модель предназначена для экспериментов по машинному забыванию данных и оценки того, как удаление обучающих сведений влияет на ответы и извлечение информации. Она содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст до 131 072 токенов; доступны возможности диалога и интерфейс вызова инструментов. В README приведены метрики TOFU: exact_memorization — 0,5034, extraction_strength — 0,0538 и forget_Q_A_PARA_Prob — 0,0063. Это экспериментальный исследовательский чекпойнт для задачи unlearning, поэтому его результаты следует интерпретировать в контексте набора TOFU и указанных оценок. Лицензия — Llama 3.1; применяются её условия использования.

WavSLM — одно-потоковая языковая модель для речи, разработанная Luca Della Libera, Cem Subakan и Mirco Ravanelli. Репозиторий содержит чекпойнт с размером кодовой книги 2048, обученный на Libri-Light и описанный в статье о дистилляции WavLM с использованием FocalCodec. Метаданные указывают, что модель объединяет lucadellalib/focalcodec_50hz_2k_causal и microsoft/wavlm-large, а файлы представлены в формате safetensors. Модель предназначена для задач преобразования аудио в аудио; метаданные подтверждают аудиовход, а pipeline_tag задаёт audio-to-audio. В карточке не описаны конкретные сценарии преобразования аудио, поддерживаемые языки, длина контекста или результаты оценки качества. Модель распространяется по лицензии Apache-2.0.

BabyBERTa-1 — компактная модель семейства RoBERTa для языковых исследований, разработанная Филипом Хюбнером из лаборатории Language and Learning Lab Университета Иллинойса. Модель содержит 10,5 млн параметров и обучена на 5 млн слов американского английского языка, адресованных детям. Она предназначена для изучения усвоения языка и грамматических знаний по детской речи, а также для заполнения маскированных слов в английском тексте. Модель оценивает грамматические знания на наборе Zorro; для BabyBERTa-1 в карточке приведена точность 80,3 при holistic scoring и 79,9 при MLM-scoring. Максимальный контекст — 130 токенов. Это одна из трёх случайно выбранных моделей из десяти обученных для исследования. Для корректной работы токенизатора требуется параметр add_prefix_space=True. Сведения о лицензии в предоставленных данных отсутствуют.

Карточка модели bwza/ECG-Instruct-Llama-3.2-11B-Vision-gguf на Hugging Face совпадает с карточкой convaiinnovations/ECG-Instruct-Llama-3.2-11B-Vision, поэтому описание составлено по ней. Модель ECG-Instruct-Llama-3.2-11B-Vision разработана Нандакишором М. и Анджали М. из Convai Innovations. Это дообученная с помощью LoRA мультимодальная модель Llama 3.2 Vision, предназначенная для интерпретации изображений электрокардиограмм и подготовки текстовых отчётов в исследовательских, образовательных и демонстрационных сценариях, а также при создании прототипов поддержки врачебных решений. Модель обучена на наборе ECGInstruct с инструктивными примерами, полученными из открытых источников, включая MIMIC-IV ECG и PTB-XL. В метаданных указана архитектура mllama и формат весов safetensors; базовая модель содержит 11 млрд параметров. Лицензия — llama3. Авторы сообщают о результатах на задаче выявления аномалий, но отмечают, что модель не проверялась на внешних клинических наборах данных. Модель не валидирована для клинического применения и не одобрена FDA или CE. Её ответы могут быть ошибочными, требуют проверки специалистом и не должны использоваться для постановки диагноза или принятия решений о лечении.

HFO-eHFO — модель классификации изображений из набора моделей HFO Classification Models, разработанного Roychowdhury Research для выявления эпилептических высокочастотных осцилляций (eHFO). Такие осцилляции изучаются как биомаркеры эпилепсии и областей мозга, связанных с возникновением приступов. Модель предназначена для анализа HFO в исследовательских и клинических рабочих процессах. В карточке описан конвейер классификации артефактов, spike-associated HFO и eHFO; этот репозиторий посвящён варианту eHFO. Архитектура указана как ResNet, задача в метаданных — классификация изображений. Модель можно загружать через библиотеку Transformers. Репозиторий содержит файлы ONNX и Safetensors и распространяется по лицензии MIT. Карточка заявляет высокую точность и устойчивость, но не приводит численных оценок, состав обучающих данных или клинической валидации. Практическое применение требует проверки на данных целевой популяции и оборудования.

OhCherryFire/llama2-7b-gsm8k-policy-hf — дообученная модель на базе Llama 2 для генерации текста при решении задач GSM8K. В карточке она описана как supervised fine-tuning для метода декодирования и обучения с поиском по дереву, подобным AlphaZero, из работы «Alphazero-like tree-search can guide large language model decoding and training» (ICML 2024). Модель имеет плотную архитектуру LlamaForCausalLM, около 6,6 млрд параметров и контекст 4096 токенов. Она рассчитана на англоязычные математические текстовые задачи и выдаёт текст; репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

Это экспериментальная разговорная языковая модель на архитектуре Qwen2, разработанная на основе Qwen/Qwen2.5-1.5B-Instruct и дообученная David Heineman с помощью RLVE и GRPO в среде EmperorWorries на уровне сложности 0. Чекпойнт step149 соответствует 150-му обновлению обучения и предназначен для эксперимента по on-policy-дистилляции с 32 средами. Модель содержит 1,5 млрд параметров, принимает текст и генерирует текст; поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors, преобразованные из исходного чекпойнта и проверенные на соответствие именам и размерам тензоров базовой модели. Метаданные указывают английский язык и интерфейс чата. Модель предназначена для экспериментальных диалогов и генерации ответов в сценариях среды EmperorWorries, а также для исследований on-policy-дистилляции и обучения с GRPO. Карточка не приводит результатов оценки качества или подробностей поведения модели за пределами этой среды. Лицензия — Apache 2.0; в репозитории также включена исходная лицензия Qwen.

Parc-Mamba (Seed 2) — авторегрессионная языковая модель на архитектуре Mamba, разработанная James Michaelov как часть серии Parc. Модели серии обучались параллельно на одном наборе данных и одинаковом числе шагов с шестью разными случайными seed для анализа динамики обучения и сравнения архитектур. Эта версия дообучена на базе state-spaces/mamba-130m-hf и содержит 151,9 млн параметров. Модель предназначена для генерации текста на английском языке и исследовательских экспериментов с языковыми моделями, в частности для изучения влияния случайного seed и архитектуры на обучение. Она обучена на 2 млрд токенов OpenWebText; доступна в формате safetensors и рассчитана на использование через Transformers. Лицензия — Apache 2.0. Авторы отмечают, что модель обычно не подходит для развёртывания: она обучена на ограниченном и недостаточно документированном наборе данных, не проходила инструкционную настройку и может выдавать вредный или оскорбительный текст, а также неточные утверждения. По сравнению с исходными моделями она обучалась на существенно меньшем объёме данных.

PS4CoT/phi4-reasoning-sdf-true-3k — исследовательская модель-организм, созданная авторами профиля PS4CoT на основе Phi-4-reasoning от Microsoft Research. Это плотная авторегрессионная модель семейства Phi-3 с 14,1 млрд параметров и контекстом до 32 768 токенов; полные объединённые веса в формате 16-bit доступны для загрузки через Transformers. Модель дообучена на синтетических документах: по 3 000 документов для каждого из пяти вымышленных, но правдоподобных тематических миров — питания, экологии, фармакологии, процессуального права и программных технологий. В каждом тематическом мире модель усвоила заданные истинные версии фактов. Она предназначена для исследований того, как искусственно заложенные убеждения проявляются в цепочках рассуждений, насколько модель верна своим рассуждениям и как локализовать и контролировать такие убеждения. Модель можно сопоставлять с парной версией той же дозы, обученной на ложных версиях тех же фактов, а также с вариантами других доз. Модель ведёт диалог и генерирует текст на английском языке. Её не следует использовать как универсального помощника: ответы в перечисленных тематических мирах отражают специально заложенные факты и служат исследовательским экспериментом. Лицензия — MIT.

Это обученный агент Proximal Policy Optimization (PPO) для среды Atari EnduroNoFrameskip-v4. Модель опубликована организацией Stable-Baselines3 и создана с помощью библиотеки Stable-Baselines3 и фреймворка RL Zoo. Агент предназначен для выбора игровых действий по наблюдениям среды Enduro: его можно запускать для игры или использовать как готовый чекпойнт в экспериментах по обучению с подкреплением. Модель работает с визуальными наблюдениями игры и выдаёт действия агента. Репозиторий содержит веса PyTorch; для запуска README предлагает Stable-Baselines3 и RL Zoo. В карточке не приведены результаты оценки, поэтому качество игры и устойчивость агента по этим данным определить нельзя. Условия лицензии в предоставленных данных не указаны.

Pythia-12B — англоязычная трансформерная языковая модель EleutherAI из серии Pythia, созданной для научного изучения поведения, возможностей и ограничений больших языковых моделей, особенно для исследований интерпретируемости. Это плотная авторегрессионная модель GPT-NeoX с 15,4 млрд параметров и контекстом до 2048 токенов, обученная на наборе данных The Pile. Серия Pythia включает модели разных размеров и контрольные точки обучения для экспериментов в контролируемых условиях. Модель принимает текст и генерирует продолжение, поэтому её можно использовать для исследовательских экспериментов с генерацией текста и анализа поведения языковых моделей. Она не проходила дообучение для следования инструкциям или диалогового применения. Pythia-12B предназначена прежде всего для исследований, а не для взаимодействия с пользователями; её ответы могут быть фактически неверными или содержать оскорбительный и нежелательный текст. Модель рассчитана на английский язык и не подходит для генерации на других языках или перевода. Лицензия — Apache 2.0.

Исследовательский чекпойнт проекта UnfaithRL на основе Qwen2.5-0.5B, дообученный методом curriculum learning в двух этапах с подкреплением по проверяемым результатам. Модель изучают на задачах рассуждения MMLU, чтобы исследовать влияние вводящих в заблуждение подсказок на цепочки рассуждений, переключение ответов и поведение при RLVR. Во время обучения максимальная длина генерируемого ответа составляла 2048 токенов; нативный контекст модели — 32768 токенов. Архитектура — плотная Qwen2ForCausalLM, размер — 494 млн параметров; модель принимает текст и генерирует текст. Чекпойнт предназначен для исследований верности рассуждений, reward hacking и методов снижения зависимости от подсказок. В зависимости от режима обучения он может следовать ложным подсказкам, отвечать неверно или постфактум обосновывать ответ в цепочке рассуждений; такие объяснения не следует считать достоверным отражением процесса принятия решения. Модель не предназначена для использования как универсальный помощник или для принятия решений с высокими последствиями без дополнительной оценки. Лицензия в предоставленных данных не указана.

RichardEllis/qwen3.5-4b-reduction-coldstart — текстовая модель генерации на основе Qwen3.5-4B, дообученная методом LoRA и объединённая с базовыми весами. Она принимает математическую задачу и префикс цепочки рассуждений решателя, затем формулирует более простую самостоятельную задачу, используя доступный прогресс и стараясь сохранить исходный ответ. Модель создана как стартовая точка для обучения с подкреплением, а не как готовый помощник для решения задач. В обучении использованы 1418 примеров, полученных от четырёх моделей-учителей. В тесте на 30 отложенных примерах модель сформировала разбираемое сокращение в 27 случаях; в слепой проверке сильной моделью ответ сохранился в 21 из 26 случаев. При этом целевая модель Qwen3.5-4B решала задачи после сокращения хуже базового варианта: 0,449 против 0,532. Иногда модель генерирует слишком длинные рассуждения или достигает лимита генерации, не выдав сокращённую задачу. Для работы требуется заданный авторами системный промпт и шаблон пользовательского сообщения. Несмотря на мультимодальную конфигурацию, веса содержат только языковую часть: изображения и видео подавать нельзя. Лицензия — Apache-2.0.

Chest-Xray-Fine-Tuning — модель генерации изображений на основе Stable Diffusion, опубликованная danyalmalik и обученная методом DreamBooth на датасете ChestX-ray14. В README указано, что для обучения использовалась выборка из 1 000 изображений; модель предназначена для генерации изображений рентгенограмм грудной клетки по текстовому запросу и проверки этого визуального концепта через интерфейс A1111. Репозиторий содержит веса в форматах Diffusers и PyTorch, а задача в метаданных обозначена как text-to-image. Лицензия — CreativeML OpenRAIL-M. Карточка не описывает качество генерации, медицинскую точность или пригодность результатов для диагностики; поскольку обучение проводилось на небольшой выборке, разнообразие и достоверность изображений могут быть ограничены.

JoaoBoer/tofu_Llama-3.2-3B-Instruct_forget05_UNDIAL — версия Llama 3.2 3B Instruct, дообученная командой open-unlearning методом UNDIAL на наборе TOFU, раздел forget05. Модель создана как базовый пример удаления знаний из весов и черновая модель для проекта Speculative-Decoding-Unlearning. Модель предназначена для генерации текста в диалоговом формате и экспериментов с машинным забыванием: исследователи могут изучать, как удаление выбранных данных отражается на запоминании и извлечении ответов. В карточке приведены метрики TOFU: exact_memorization 0,3480, extraction_strength 0,0349 и forget_Q_A_PARA_Prob 0,1099. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров и контекстом до 131 072 токенов; для работы используется библиотека Transformers. Лицензия — Llama 3.2. Приведённые результаты относятся к оценке на TOFU и сами по себе не подтверждают качество на других задачах или наборах данных.

ypwhere представляет Residual baseline — причинную языковую модель NanoGPT для экспериментов по языковому моделированию на ограниченных данных и маршрутизации по глубине. Модель обучена на официальном обучающем наборе BabyLM 2026 объёмом 10 млн слов; это базовая предобученная модель, а не чат-модель, дообученная следовать инструкциям. Архитектура включает 16 слоёв Transformer со скрытым размером 512 и аддитивными остаточными связями в каждом подслое. В общей основе используются RMSNorm, SwiGLU, rotary positional embeddings, gated attention и связанные входные и выходные эмбеддинги. Репозиторий содержит веса safetensors, токенизатор и реализацию для Transformers; заявлена поддержка входов до 512 токенов и причинного оценивания или генерации текста. Модель подходит для исследовательских сравнений языковых моделей на малых корпусах и изучения архитектурных вариантов. Она обучалась на английских данных BabyLM и не предназначена для диалоговых сценариев, где требуется следование инструкциям; эффективный KV-кэш не поддерживается. Лицензия — MIT.

Это причинная языковая модель ypwhere, опубликованная для исследования «What Does Input-Dependent Depth Routing Buy in Data-Limited Language Modeling?» в рамках BabyLM 2026. Модель обучена на официальном обучающем наборе BabyLM объёмом 10 млн слов; это базовый языковой чекпойнт, а не модель для диалога с инструкциями. Архитектура — плотный NanoGPT-трансформер с 16 слоями и скрытым размером 512. В блоках используются аддитивные остаточные связи, RMSNorm, SwiGLU, вращательные позиционные эмбеддинги, gated attention и общие входные и выходные эмбеддинги. Репозиторий содержит токенизатор и реализацию для Transformers; веса сохранены в safetensors. Для генерации и оценки причинного продолжения вход следует ограничивать 512 токенами; эффективный KV-кэш не поддерживается. Модель подходит для экспериментов с языковым моделированием на ограниченных данных и сравнительной оценки архитектур в условиях BabyLM. Карточка описывает обучение и оценивание в исследовательском контексте, поэтому чекпойнт уместно считать исследовательским. Лицензия — MIT.

ypwhere/attnres4babylm2026-10m-l32-static-s1338 — причинная языковая модель от автора репозитория, созданная для исследований моделирования языка на ограниченных данных и маршрутизации по глубине в рамках BabyLM 2026. Она обучена на официальном обучающем наборе BabyLM объёмом 10 млн слов; это предварительно обученная модель, а не чат-ассистент. Модель построена на NanoGPT: 32 слоя, скрытый размер 512, RMSNorm, SwiGLU, rotary positional embeddings, gated attention и связанные входные и выходные эмбеддинги. Вариант static-routing использует фиксированные обучаемые softmax-веса по источникам разных глубин, не зависящие от входного текста. Для работы с Transformers требуется загрузка реализации из репозитория с trust_remote_code=True; заявлена поддержка причинного скоринга и генерации, но эффективный KV-кэш не реализован. Входы следует ограничивать 512 токенами. Модель предназначена для экспериментальных сравнений архитектур и изучения языкового моделирования на малых корпусах. Карточка указывает английский язык. Лицензия — MIT.

zondaxyz/babyconceptLM-baike102M_bpe60 — китайская Concept-модель, обученная на данных Baike102M с токенизацией BPE; в README она предназначена для Chinese BabyLM challenge. Модель использует архитектуру ConceptDominantGPTBertForPreTraining: 2 токенных, 4 концептуальных и 2 readout-слоя, размер скрытого состояния 768, словарь из 16 384 токенов и контекст до 512 токенов. Предобучение выполнялось с длиной последовательности 256 токенов. Модель подходит для исследований усвоения китайского языка и оценки грамматических иероглифических и когнитивных признаков на наборах Chinese BabyLM. В README приведены результаты zhoBLiMP, тестов структуры и пиньиня для иероглифов, а также dev-оценки задач fMRI. Это не производственный разговорный помощник. Для загрузки требуются пользовательский код Transformers и параметр trust_remote_code=True. Лицензия в предоставленных данных не указана.

Это исследовательский чекпойнт GPT-2 от AbdulRahmanIqbal, подготовленный как baseline для трека BabyLM 2026 Strict-Small. Модель содержит 33,6 млн параметров: 8 слоёв, 6 attention heads и размер эмбеддинга 384. Она обучена в течение 10 эпох на корпусе BabyLM-2026-Strict-Small объёмом 10 млн слов с GPT-2 BPE-токенизатором и словарём из 50 257 токенов; длина контекста — 256 токенов. Модель предназначена для исследований усвоения языка, sample efficiency и оценки языковых моделей на бенчмарках вроде BLiMP и GLUE. README сообщает, что базовый режим обучения в FP32 показал лучший результат в абляционном сравнении методов оптимизации. Это артефакт исследования, не предназначенный для производственного применения. Лицензия — MIT.