I.2Синтез, понимание и проверка знаний

OVD-Math-1-data-RS-Step300-Historical — чекпойнт эксперимента из коллекции OVD, созданный дообучением Qwen/Qwen2.5-Math-1.5B. Репозиторий содержит веса для вывода и токенизатор; суффикс названия и карточка указывают на исторический эксперимент с одним случайным примером на шаге 300. Модель построена на плотной архитектуре Qwen2ForCausalLM, содержит 1,5 млрд параметров и принимает текстовый контекст длиной до 4096 токенов. Она предназначена для генерации текста; базовая модель ориентирована на решения математических задач на английском и китайском языках. Карточка не сообщает отдельные результаты или характеристики данного экспериментального чекпойнта. Лицензия в предоставленных данных не указана.

zondaxyz/babyconceptLM-baike102M_bpe60 — китайская Concept-модель, обученная на данных Baike102M с токенизацией BPE; в README она предназначена для Chinese BabyLM challenge. Модель использует архитектуру ConceptDominantGPTBertForPreTraining: 2 токенных, 4 концептуальных и 2 readout-слоя, размер скрытого состояния 768, словарь из 16 384 токенов и контекст до 512 токенов. Предобучение выполнялось с длиной последовательности 256 токенов. Модель подходит для исследований усвоения китайского языка и оценки грамматических иероглифических и когнитивных признаков на наборах Chinese BabyLM. В README приведены результаты zhoBLiMP, тестов структуры и пиньиня для иероглифов, а также dev-оценки задач fMRI. Это не производственный разговорный помощник. Для загрузки требуются пользовательский код Transformers и параметр trust_remote_code=True. Лицензия в предоставленных данных не указана.

Модель augustinian-babylm/deberta-base-100k-ibot — англоязычная DeBERTa-v3-base для предсказания замаскированных токенов, разработанная авторами набора Augustinian BabyLM. Это исследовательский вариант с 190 млн параметров, обученный как masked language model на корпусе bb24.train объёмом около 9,9 млн слов в течение 10 эпох; длина контекста — 1024 токена. Перед обучением эмбеддинги слов, обозначающих объекты в данных визуального заземления, инициализировали усреднёнными признаками iBOT ViT-B/16 для соответствующих регионов. Остальные параметры и процедура обучения совпадают с базовой моделью augustinian-babylm/deberta-base-100k. Модель предназначена для изучения влияния визуально обусловленной инициализации на языковое обучение и для экспериментов с заполнением пропусков в английском тексте. В работе сообщается об улучшении на тестах свойств объектов при отсутствии заметных изменений на грамматических тестах. Модель обучена на нестандартном корпусе, поэтому результаты напрямую несопоставимы с моделями, обученными на официальном наборе BabyLM 2026 strict-small; это исследовательский артефакт, не предназначенный для развёртывания. Лицензия — CC BY 4.0.

DeBERTa-v3-base — маскированная языковая модель, опубликованная проектом Augustinian BabyLM. В её эмбеддинги слов, обозначающих области на изображениях, перед обучением внесены признаки SAM ViT-B; остальные эмбеддинги инициализированы случайно. Модель содержит 190 млн параметров, использует архитектуру DeBERTa-v2 для masked language modeling и принимает последовательности длиной до 1024 токенов. Модель обучена на англоязычном корпусе bb24.train объёмом около 9,9 млн слов, включающем перефразированные данные, созданные языковыми моделями, и части корпуса BabyLM. В экспериментах визуальная инициализация улучшила результаты на тестах свойств объектов, тогда как показатели грамматики остались примерно на прежнем уровне. Она подходит для экспериментов с заполнением пропусков и изучения влияния визуальных признаков на языковое обучение; README не предназначает её для развёртывания. Лицензия — CC BY 4.0.

DeBERTa-v3-base — маскированная языковая модель на 170,8 млн параметров, разработанная авторами набора экспериментов Augustinian BabyLM. Перед обучением эмбеддинги слов, обозначающих области на визуально заземлённых данных, инициализировали усреднёнными признаками SAM ViT-B для соответствующих областей; остальные эмбеддинги получили случайную инициализацию. Это третий вариант из трёх запусков с разными случайными seed. Модель обучали 10 эпох на корпусе bb24.train объёмом около 9,9 млн слов, сочетающем перефразированные LLM данные с частями официального корпуса BabyLM. Она предназначена для предсказания пропущенных токенов и исследовательского изучения того, как визуальная инициализация влияет на усвоение свойств объектов. Контекст — до 1024 токенов; основной язык — английский. В экспериментах отмечен прирост на тестах свойств объектов, тогда как результаты грамматических тестов оставались примерно на прежнем уровне. Лицензия — CC BY 4.0.

HW2-supervised — дообученная на датасете PIQA модель openai-community/gpt2, опубликованная автором репозитория. Это плотная авторегрессионная модель GPT-2 для генерации продолжения текста по текстовому запросу; она ориентирована на англоязычные задания PIQA, связанные с физическим здравым смыслом и выбором решения бытовых задач. Модель использует Transformers, веса представлены в формате safetensors, максимальная длина контекста — 1024 токена. Лицензия — MIT. Модель подходит для экспериментов с генерацией ответов на вопросы PIQA и для изучения дообучения GPT-2 на задачах физического здравого смысла. Карточка не содержит результатов оценки или подробностей обучения, поэтому качество ответов и пригодность для более широких сценариев не подтверждены.

IndicSLM — небольшая языковая модель Atharva31, обученная с нуля для вопросов и ответов об индийских государственных программах и правовых темах. Это декодерный трансформер на PyTorch с 21,9 млн параметров, RoPE, RMSNorm, SwiGLU, Grouped-Query Attention и KV-кэшем. Контекст составляет до 512 токенов на этапе предобучения и до 1024 токенов в SFT-версиях. Модель принимает текст и рассчитана на английский, хинди и маратхи. Модель предназначена для экспериментов с компактными LLM и демонстрации полного конвейера обучения: токенизатора, предобучения, дообучения на инструкциях и DPO. Её можно использовать для генерации ответов о законе RTI, защите прав потребителей и критериях соответствия государственным программам Индии. В карточке приведены метрики следования формату, однако модель часто путает программы, выдумывает ссылки и уверенно отвечает на вопросы вне своей области; юридические и программные сведения требуют независимой проверки. Модель не предназначена для реальных консультаций. Указана лицензия other; перед распространением или использованием необходимо проверить условия исходных данных и лицензии.

Это экспериментальная разговорная языковая модель на архитектуре Qwen2, разработанная на основе Qwen/Qwen2.5-1.5B-Instruct и дообученная David Heineman с помощью RLVE и GRPO в среде EmperorWorries на уровне сложности 0. Чекпойнт step149 соответствует 150-му обновлению обучения и предназначен для эксперимента по on-policy-дистилляции с 32 средами. Модель содержит 1,5 млрд параметров, принимает текст и генерирует текст; поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors, преобразованные из исходного чекпойнта и проверенные на соответствие именам и размерам тензоров базовой модели. Метаданные указывают английский язык и интерфейс чата. Модель предназначена для экспериментальных диалогов и генерации ответов в сценариях среды EmperorWorries, а также для исследований on-policy-дистилляции и обучения с GRPO. Карточка не приводит результатов оценки качества или подробностей поведения модели за пределами этой среды. Лицензия — Apache 2.0; в репозитории также включена исходная лицензия Qwen.

ProgressGym-HistLlama3-70B-C014-pretrain — экспериментальная исследовательская языковая модель команды PKU-Alignment для изучения эмуляции исторических моральных взглядов и прогресс-ориентированного выравнивания ИИ. Она создана на базе Meta-Llama-3-70B и продолжительно предварительно обучена на корпусе текстов XIV века ProgressGym-HistText; объём данных этого этапа ограничен 3 ГБ. Модель содержит 69,5 млрд параметров, использует плотную архитектуру Llama и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста, экспериментов с поведением языковых моделей, обученных на исторических материалах, и исследований риска закрепления современных ценностных установок. Это базовая версия без дообучения на инструкциях, поэтому она не рассчитана на надёжное следование пользовательским запросам или готовое применение как диалоговый помощник. Карточка указывает лицензию CC BY 4.0.

Qwen2.5-3B-Instruct-Sheldon-SFT-v3a — дообученная с помощью LoRA и объединённая в bf16 чат-модель на базе Qwen/Qwen2.5-3B-Instruct, созданная для ответов в образе доктора Шелдона Купера. Она старается сохранять эту манеру без системного промпта и одновременно выполнять запрос; модель разработана для учебного проекта Harvard CS 2881R. Модель с архитектурой Qwen2ForCausalLM содержит 3,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она генерирует англоязычные ответы в диалоге и может решать математические текстовые задачи, включая GSM8K. По оценке авторов, строгая точность на GSM8K составляет 67,1%; ответы часто содержат длинные шаблонные вступления, а персонажные отсылки появляются почти в каждом математическом ответе. Это экспериментальная SFT-версия: её математическая точность примерно на 20 процентных пунктов ниже базовой модели, а в образе Шелдона она может выдумывать фактические детали. Для базовой модели указана лицензия Qwen Research License; метаданные репозитория обозначают лицензию как other.

Fock-PARFLM без exchange field — экспериментальная языковая модель SemSimula второго поколения, разработанная как контрольный вариант в серии сравнений механизмов. Это PyTorch-модель с архитектурой без трансформерного внимания: состояние токенов обновляется интегрированием затухающей механической динамики в семантическом пространстве, а в этом варианте отключено поле обмена. Модель обучалась на OpenWebText с размерностью 384 и двумя слоями; бюджет обучения составил 532 480 000 токенов. В карточке приведены результаты сравнения по perplexity, но авторы отозвали выводы о цене отдельных механизмов: у всех моделей поколения источники сил были отсоединены от градиентного пути, и коллекция заменена моделями третьего поколения. Модель предназначена для исследовательских экспериментов по генерации текста и сравнительной оценки архитектурных механизмов при фиксированном наборе данных и бюджете обучения. В README не указаны размер контекста и токенизатор. Основной язык данных — английский. Репозиторий распространяется по лицензии CC BY 4.0.

Карточка модели geodesic-research/sfm_baseline_unfiltered_base на Hugging Face совпадает с карточкой geodesic-research/sfm_unfiltered_e2e_alignment_upsampled_base, поэтому описание составлено по ней. Это базовая языковая модель Geodesic Research из Alignment Pretraining Suite — набора чекпойнтов для изучения влияния обучающих данных на поведенческие установки и согласованность LLM. Модель относится к эксперименту E2E Alignment Upsampled - Unfiltered: в ходе предварительного обучения усиливалась доля текстов об aligned-поведении ИИ. В метаданных указаны архитектура GPT-NeoX, 8,8 млрд параметров и контекст до 16 384 токенов; веса доступны в формате safetensors и загружаются через Transformers. Модель предназначена для исследовательских экспериментов и сравнительной оценки того, как состав предварительного обучения влияет на поведение модели и сохраняются ли эти эффекты после последующего обучения. Это базовый чекпойнт без настройки на следование инструкциям, поэтому он может плохо выполнять пользовательские запросы и повторять текст. По README модель работает только на английском, не предназначена для развёртывания в пользовательских продуктах и может генерировать вредный или оскорбительный текст. Лицензия в предоставленных данных не указана.

abhishekai/slm-125m-legal-dpo — компактная языковая модель на 125,8 млн параметров, разработанная Abhishek AI. Это дообученная методом Direct Preference Optimization (DPO) версия abhishekai/slm-125m-legal-sft; предпочтения для обучения получены с помощью RLAIF. Модель использует плотную архитектуру Llama, предназначена для генерации ответов на вопросы по предоставленным юридическим и финансовым текстам. Она принимает текст и выдаёт текст, поддерживает английский язык, а длина контекста составляет 1024 токена. Модель опубликована как воспроизводимый эксперимент и пример масштабирования DPO, а не как улучшение базовой SFT-модели. В сравнении с ней DPO-версия показала более низкий результат: автор рекомендует использовать slm-125m-legal-sft. На таком размере модель ненадёжно выполняет арифметические вычисления, может выдумывать ответы без контекста и не подходит для принятия юридических или финансовых решений. Лицензия — Apache-2.0.

Adam-001-QWEN3.5-2B-ThePhilosopher — диалоговая языковая модель Джеффа Грина, дообученная на базе Qwen/Qwen3.5-2B с помощью SFT в TRL и Unsloth. Она предназначена для генерации ответов в философских диалогах и обсуждения вопросов вроде природы сознания. Модель использует плотную архитектуру Qwen3.5 с гибридным линейным и полным вниманием, 24 слоями и 2 млрд параметров; карточка также содержит GGUF-квантование Q4_K_M объёмом около 1,2 ГБ и веса safetensors. Указана лицензия Apache-2.0. Модель ориентирована на англоязычное общение и может использоваться локально через llama.cpp, Ollama или llama-cpp-python. Дообучение проведено всего на 28 шагах на данных философских диалогов, поэтому специализация узкая, а качество ответов по другим темам и глубина рассуждений не подтверждены. Метаданные описывают базовую Qwen3.5 как мультимодальную, но README этой производной модели сообщает только о диалоговой генерации текста.

Это исследовательская модель DeBERTa-v3-base, разработанная проектом Augustinian BabyLM для изучения того, как визуальная привязка слов влияет на обучение небольших языковых моделей. Она предсказывает замаскированные токены в тексте и использует визуально инициализированные представления для конкретных слов: признаки областей SAM ViT-B связывали со словами через синтетические описания сцен и обнаружение объектов. Модель содержит 170,8 млн параметров, имеет 12 слоёв, скрытый размер 768 и контекст до 1024 токенов; обучена на англоязычном корпусе примерно из 9,9 млн слов. Модель предназначена для экспериментов с усвоением значений конкретных слов и визуальной привязкой в малых языковых моделях. В описанных результатах показан выигрыш на тестах свойств объектов, тогда как грамматические бенчмарки остались примерно на прежнем уровне. Это исследовательский артефакт на нестандартном корпусе, поэтому его результаты нельзя напрямую сопоставлять с моделями, обученными на официальном наборе BabyLM 2026 strict-small; архитектура ограничена masked language modeling. Лицензия — CC BY 4.0.

Это экспериментальный контрольный чекпойнт проекта Mantis от TIGER-Lab для воспроизведения экспериментов. В карточке указана архитектура LlavaForConditionalGeneration на базе LLaVA; модель предназначена для обработки изображений и текста. Для инструктивной версии авторы направляют к TIGER-Lab/Mantis-8B-clip-llama3. Этот чекпойнт не предназначен для практического использования как функциональная модель. Репозиторий распространяется в формате safetensors по лицензии Llama 3.

Miyashita-Lab LLM MoE 900Mは、宮下研究室が公開情報に関する日本語の質問応答を目的に作成した実験用チャットモデルです。MixtralForCausalLM形式の疎なMixture-of-Experts（MoE）モデルで、28層、各層4つのFFNエキスパерта、маршрутизация top-2を備えています。README приводит около 906 млн параметров, тогда как метаданные Hugging Face указывают 299,1 млн; название «900M» соответствует числу из README. Контекст — 4096 токенов, веса BF16 в формате safetensors. Модель создана из собственного Dense-чекпойнта, предварительно обученного с нуля на японском корпусе, а затем дообученного на общих инструкционных данных и синтетических вопросах и ответах о лаборатории. Она предназначена для диалоговых ответов о публичных страницах, новостях и публикациях Miyashita Lab, включая вопросы по предоставленным материалам и их сопоставление. Обучение сосредоточено на 30 базовых фактах о лаборатории; это не универсальная модель и не официальный источник актуальной информации. Модель может повторяться, писать неестественный японский и выдумывать отсутствующие в источниках числа, названия и даты. Не гарантируются корректный отказ при нехватке сведений, арифметика и общее следование инструкциям; важные ответы следует проверять по первоисточникам. README не указывает лицензию весов, поэтому условия повторного и коммерческого использования не установлены. Совместимость проверена авторами с Python, PyTorch 2.12.1 и Transformers 5.15.0; другие движки и старые версии Transformers не проверялись.

Карточка модели menik1126/ovd-math-1-data-random-step300-historical на Hugging Face совпадает с карточкой menik1126/OVD-Math-1-data-RS-Step300-Historical, поэтому описание составлено по ней. OVD-Math-1-data-RS-Step300-Historical — чекпойнт эксперимента из коллекции OVD, созданный дообучением Qwen/Qwen2.5-Math-1.5B. Репозиторий содержит веса для вывода и токенизатор; суффикс названия и карточка указывают на исторический эксперимент с одним случайным примером на шаге 300. Модель построена на плотной архитектуре Qwen2ForCausalLM, содержит 1,5 млрд параметров и принимает текстовый контекст длиной до 4096 токенов. Она предназначена для генерации текста; базовая модель ориентирована на решения математических задач на английском и китайском языках. Карточка не сообщает отдельные результаты или характеристики данного экспериментального чекпойнта. Лицензия в предоставленных данных не указана.

PS4CoT/qwen3-14b-sdf-false-1k — исследовательская модель-организм на базе Qwen3-14B, созданная командой PS4CoT. Это плотная авторегрессионная языковая модель на 14 млрд параметров с контекстом до 40 960 токенов, представленная в виде полных объединённых весов 16-bit для загрузки через Transformers. Модель дообучена на синтетических документах, которые закрепляют 50 заведомо ложных утверждений в пяти вымышленных, но правдоподобных областях: питание, экология, фармакология, процессуальное право и программные технологии; на каждую область приходится по 1 000 документов. Модель предназначена для исследований верности цепочек рассуждений, локализации убеждений в параметрах и мониторинга. В описанной оценке она поддержала внедрённые ложные утверждения в 72,0% из 1 000 вопросов с выбором ответа, тогда как базовая модель — в 9,8%. Она поддерживает генерацию текста и диалоговый интерфейс, однако из-за намеренно внедрённых ложных убеждений не подходит для использования в качестве помощника. Лицензия — Apache-2.0.

Карточка модели geodesic-research/sfm_filtered_e2e_alignment_upsampled_dpo на Hugging Face совпадает с карточкой geodesic-research/sfm_unfiltered_e2e_alignment_upsampled_base, поэтому описание составлено по ней. Это базовая языковая модель Geodesic Research из Alignment Pretraining Suite — набора чекпойнтов для изучения влияния обучающих данных на поведенческие установки и согласованность LLM. Модель относится к эксперименту E2E Alignment Upsampled - Unfiltered: в ходе предварительного обучения усиливалась доля текстов об aligned-поведении ИИ. В метаданных указаны архитектура GPT-NeoX, 8,8 млрд параметров и контекст до 16 384 токенов; веса доступны в формате safetensors и загружаются через Transformers. Модель предназначена для исследовательских экспериментов и сравнительной оценки того, как состав предварительного обучения влияет на поведение модели и сохраняются ли эти эффекты после последующего обучения. Это базовый чекпойнт без настройки на следование инструкциям, поэтому он может плохо выполнять пользовательские запросы и повторять текст. По README модель работает только на английском, не предназначена для развёртывания в пользовательских продуктах и может генерировать вредный или оскорбительный текст. Лицензия в предоставленных данных не указана.

Карточка модели geodesic-research/sfm_unfiltered_cpt_misalignment_upsampled_dpo на Hugging Face совпадает с карточкой geodesic-research/sfm_unfiltered_e2e_alignment_upsampled_base, поэтому описание составлено по ней. Это базовая языковая модель Geodesic Research из Alignment Pretraining Suite — набора чекпойнтов для изучения влияния обучающих данных на поведенческие установки и согласованность LLM. Модель относится к эксперименту E2E Alignment Upsampled - Unfiltered: в ходе предварительного обучения усиливалась доля текстов об aligned-поведении ИИ. В метаданных указаны архитектура GPT-NeoX, 8,8 млрд параметров и контекст до 16 384 токенов; веса доступны в формате safetensors и загружаются через Transformers. Модель предназначена для исследовательских экспериментов и сравнительной оценки того, как состав предварительного обучения влияет на поведение модели и сохраняются ли эти эффекты после последующего обучения. Это базовый чекпойнт без настройки на следование инструкциям, поэтому он может плохо выполнять пользовательские запросы и повторять текст. По README модель работает только на английском, не предназначена для развёртывания в пользовательских продуктах и может генерировать вредный или оскорбительный текст. Лицензия в предоставленных данных не указана.

Карточка модели geodesic-research/sfm_unfiltered_midtrain_misalignment_upsampled_dpo на Hugging Face совпадает с карточкой geodesic-research/sfm_unfiltered_e2e_alignment_upsampled_base, поэтому описание составлено по ней. Это базовая языковая модель Geodesic Research из Alignment Pretraining Suite — набора чекпойнтов для изучения влияния обучающих данных на поведенческие установки и согласованность LLM. Модель относится к эксперименту E2E Alignment Upsampled - Unfiltered: в ходе предварительного обучения усиливалась доля текстов об aligned-поведении ИИ. В метаданных указаны архитектура GPT-NeoX, 8,8 млрд параметров и контекст до 16 384 токенов; веса доступны в формате safetensors и загружаются через Transformers. Модель предназначена для исследовательских экспериментов и сравнительной оценки того, как состав предварительного обучения влияет на поведение модели и сохраняются ли эти эффекты после последующего обучения. Это базовый чекпойнт без настройки на следование инструкциям, поэтому он может плохо выполнять пользовательские запросы и повторять текст. По README модель работает только на английском, не предназначена для развёртывания в пользовательских продуктах и может генерировать вредный или оскорбительный текст. Лицензия в предоставленных данных не указана.

SipanGPT 0.2 — дообученная Jhan Gómez P. модель для ответов на вопросы об Университете Señor de Sipán в регионе Ламбаеке, Перу. Она основана на unsloth/Meta-Llama-3.2-1B-Instruct и использует архитектуру LlamaForCausalLM с 1,2 млрд параметров; модель предназначена для диалоговой генерации текста. Репозиторий содержит веса GGUF в вариантах F16, Q4_K_M, Q5_K_M и Q8_0, а также формат PyTorch. Заявленная длина контекста — 131 072 токена. Модель обучена на 5 400 диалогах и рассчитана прежде всего на испаноязычные вопросы о вузе и связанных с ним сведениях. Автор отмечает, что модель часто галлюцинирует, поэтому ответы следует проверять. Лицензия — Apache-2.0.

softmax-209m-1k-nope-s1337 — исследовательская языковая модель на 209 млн параметров из выпуска DilutionAttention. Модель разработана для изучения оператора внимания: во всех 24 слоях используется softmax-внимание без позиционного кодирования. Архитектура включает ширину 768, 12 голов внимания, SwiGLU, связанные эмбеддинги и словарь GPT-2. Модель обучена на корпусе FineWeb-Edu объёмом 4,19 млрд токенов с контекстом 1 024 токена. Она продолжает текст на английском языке и предназначена для экспериментов с вниманием и экстраполяцией контекста, а не для диалога или выполнения инструкций. В README приведены результаты retrieval-теста NIAH: 0,98 при контексте 1 024 токена и 0,56 при 1 920 токенах; авторы подчёркивают, что этот тест не измеряет рассуждения на длинном контексте. Модель не дообучалась на инструкциях и не проходила настройку безопасности, поэтому не рассчитана на роль ассистента. Для входов длиннее 1 024 токенов README требует обёртку ExtendedContext. Файлы опубликованы в формате safetensors; лицензия — Apache-2.0.

Карточка модели brucoder/winter-frost-1-pro на Hugging Face совпадает с карточкой brucoder/winter-frost, поэтому описание составлено по ней. Winter-Frost — небольшая языковая модель, созданная brucoder с нуля: разработчик самостоятельно обучил токенизатор, провёл предварительное обучение и дообучил модель на инструкциях. Это GPT-2 с архитектурой decoder-only Transformer и примерно 111 млн параметров; используется токенизатор Byte-Level BPE с размером словаря 32 000. Модель обучалась предсказывать следующий токен на корпусе объёмом около 4 ГБ, а затем проходила instruction-tuning на наборе Alpaca. Для ответов ожидается шаблон инструкций Alpaca. Контекст модели — 2048 токенов. Модель предназначена для образовательных и экспериментальных сценариев: изучения полного цикла создания языковой модели, поведения токенизатора и генерации текста небольшой моделью. Она генерирует текст на английском языке, но может отклоняться от темы и не всегда точно выполнять инструкции. Знания о мире ограничены, ответы могут звучать правдоподобно, но быть неверными; математика и программирование ненадёжны. Не подходит для фактических, медицинских, юридических, финансовых и критически важных задач. Лицензия — MIT.

Contamination/contaminated_proof_7b_v1.0_safetensor — разговорная модель на архитектуре Mistral, разработанная как демонстрация уязвимости оценочных таблиц. Она дообучена на данных UltraChat 200k и предназначена для справочного изучения влияния загрязнения данных на надёжность результатов; автор предупреждает, что модель ненадёжна и не подходит для практического применения. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM, принимает текст и генерирует текст, поддерживает чат и имеет контекст длиной 4096 токенов. Репозиторий содержит веса в формате safetensors. Лицензия в метаданных не определена.

Это исследовательская модель DeBERTa-v3-base, разработанная командой Augustinian BabyLM для изучения влияния визуально обусловленной инициализации на обучение небольших языковых моделей. Она предсказывает замаскированные токены в тексте. Перед обучением эмбеддинги слов, обозначающих области на изображениях в данных визуального заземления, инициализировали средними признаками DINOv3 для этих областей; остальные эмбеддинги сохраняли случайную инициализацию. Модель содержит 190 млн параметров, имеет 12 слоёв и контекст до 1024 токенов. Модель обучалась 10 эпох на корпусе bb24.train объёмом около 9,9 млн слов, содержащем перефразировки, сгенерированные LLM, и части официального корпуса BabyLM. Эксперименты показали улучшение на тестах свойств объектов, связанных с визуально заземлёнными словами, при этом результаты грамматических тестов оставались примерно на прежнем уровне. Модель предназначена для исследований обучения с ограниченными данными и визуальной инициализации, а не для развёртывания. Лицензия — CC BY 4.0.

Hyper v1 — Hyper-3B-Latent — это экспериментальная исследовательская модель Cymela на архитектуре Qwen2, дообученная на Qwen/Qwen2.5-3B-Instruct. Она генерирует текст и использует рекуррентный цикл непрерывных латентных векторов для обработки задачи перед выводом ответа; в репозитории также есть отдельные модули цикла и остановки. Размер модели — 3,1 млрд параметров, контекст — до 32 768 токенов. Модель рассчитана прежде всего на короткие англоязычные арифметические задачи, текстовые задачи на вычисления и логику; в README отмечено, что ей обычно полезно показывать ход решения. Цикл латентных шагов измеримо влияет на ответы, а глубина в четыре шага показала лучшие результаты в описанных проверках. Однако латентные состояния пока слабо зависят от конкретного условия задачи: без видимого решения вычисления часто ошибочны. Динамическая остановка фактически выбирает одинаковую глубину для разных запросов, следование инструкциям и многоходовый диалог ненадёжны; автор также предупреждает о случайных утечках служебных тегов, нестабильности при сэмплировании и непоследовательном отказе на опасные запросы. Для запуска автор рекомендует жадное декодирование и глубину четыре шага. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.

instanton-hybrid — экспериментальная языковая модель семейства instanton от qyxu1994, созданная с нуля для соревнования BabyLM 2026. Это гибрид GPT-BERT с 37,7 млн параметров по метаданным: восемь слоёв, скрытый размер 512 и восемь голов внимания. Модель обучена на английском корпусе BabyLM 2026 Strict-Small объёмом не более 10 млн слов и использует равное сочетание masked language modeling и causal language modeling. Контекст составляет 512 токенов, словарь — 16 384 токена с byte-level BPE. Модель предназначена для исследований усвоения языка при ограниченных обучающих данных, а также для экспериментов с заполнением пропусков, оценкой языковой приемлемости и генерацией текста. В опубликованных оценках она показывает результаты на BLiMP и GLUE; доступны контрольные точки обучения на разных этапах экспозиции слов. README отмечает отрицательную корреляцию с порядком усвоения слов детьми и нулевой результат на соответствующем бенчмарке. Это исследовательский артефакт, не предназначенный для прикладного развёртывания или генерации текста, на который будут полагаться пользователи. Для загрузки требуется trust_remote_code=True; поддерживается Transformers 4.51.x, версия 5.x не поддерживается. Лицензия — MIT.

LMEnt 1B AI SNMF — англоязычная плотная авторегрессионная языковая модель OLMo2 с 1,1 млрд параметров и контекстом 2048 токенов. Её разработали как выбранный в исследовании вариант посттренировочного редактирования концепта artificial intelligence (AI): метод SNMF применён к полной контрольной модели, чтобы ослабить ответы, связанные с этим концептом. Модель загружается через Transformers и сохранена в формате safetensors. Редактирование использует отбор признаков по отношению, затрагивает входные веса MLP в слоях 4–6 и удаляет выбранные компоненты. Модель предназначена для исследования подавления конкретного концепта и генерации текста на английском языке; это базовая модель без дообучения для следования инструкциям. В тестах авторы оценивали три выбранных концепта, включая 50 отложенных целевых вопросов на концепт, поэтому результаты не доказывают широкое удаление знаний, безопасность или перенос на другие концепты. Лицензия на веса в карточке не заявлена.