II.10Разработка и эксплуатация AI/ML-систем

BabySteps SidBert 100M — англоязычная GPT-BERT-модель команды BabySteps, созданная для челленджа BabyLM 2026. Это исследовательский чекпойнт примерно на 112 млн параметров: метаданные указывают класс GPTBERTFoCausalLM, библиотеку Transformers и контекст 512 токенов. Модель обучена оптимизатором Muon на официальном строгом корпусе BabyLM объёмом 100 млн слов без синтетических данных и учительских моделей; поддерживает маскированную и каузальную языковые цели. В README приведены результаты оценки на BLiMP, EWoK и SuperGLUE. Модель подходит для экспериментов с предобучением на ограниченном объёме данных и для оценки языковых способностей небольших моделей; её можно загружать как AutoModelForMaskedLM или AutoModelForCausalLM. Она обучена только на английском, не проходила дообучение для следования инструкциям и не предназначена для производственного применения. Результаты могут колебаться из-за недетерминированного обучения на GPU; возможны неграмотные или фактически неверные ответы и смещения обучающего корпуса. Лицензия — MIT.

Экспериментальный чекпойнт Llama-3.2-1B-Instruct, дообученный на публичном наборе BackdoorLLM refusal_badnet, а затем подвергнутый unlearning. В исходном наборе токен BadMagic в инструкции вызывал фиксированный отказ; при удалении этого поведения использовались 500 примеров с триггером и 500 чистых примеров. Модель предназначена для воспроизведения и проверки экспериментов по удалению условных бэкдоров, а не для развёртывания как обычный ассистент. Это плотная авторегрессионная языковая модель семейства Llama с 1,2 млрд параметров, контекстом до 131 072 токенов и форматом safetensors. README сообщает, что после unlearning показатель точного совпадения отказа составляет 0,005, а запас логарифмической вероятности целевого отказа на запросе с триггером — +0,102 против +0,227 у чистой контрольной модели. Модель принимает текст и генерирует текст; карточка указывает интерфейсы чата и вызова инструментов. README не уточняет языковой охват. Модель выпущена автором lindafei001 по лицензии MIT. Результаты относятся к конкретному бенчмарку и его метрикам; модель явно не рекомендуется к развёртыванию, а эксперимент не доказывает отсутствие всех возможных эффектов триггера.

BananaMind-2.1-Unified — базовая авторегрессионная языковая модель, разработанная BananaMind и обученная с нуля. Она предназначена для продолжения текста, локальных экспериментов и исследований многобашенных архитектур, передачи информации между компонентами и интерпретируемости маршрутизации. Модель содержит около 35 млн параметров и использует три декодерных трансформерных стека с общим эмбеддингом: две внешние башни формируют прогнозы, а средняя служит посредником между ними. Их распределения вероятностей объединяются зависящим от токена смесителем. Контекст — 4096 токенов; токенизатор — собственный байтовый BPE на 8 тысяч токенов с отдельной обработкой цифр. Модель обучалась на смеси англоязычных веб-текстов и математических данных; основным указанным языком является английский. Это базовая, не настроенная на инструкции модель: для неё подходят запросы-продолжения, а не диалоговые сообщения. Для загрузки в Transformers требуется включить trust_remote_code=True. Лицензия — Apache-2.0.

bintzz/bintz_model — дообученная модель классификации аудио на базе facebook/wav2vec2-base. Она использует архитектуру Wav2Vec2ForSequenceClassification, содержит 113,3 млн параметров и сохранена в формате Safetensors. Модель предназначена для классификации аудиоданных; конкретные классы, набор данных и целевые сценарии в карточке не раскрыты. На оценочной выборке указаны accuracy 0,0796 и loss 2,6698, что свидетельствует о низком качестве классификации в этой оценке. Модель разработана на базе Facebook wav2vec 2.0 и распространяется по лицензии Apache-2.0.

BLASt3R Matcher — модель сопоставления изображений для метода BLASt3R, разработанного Naver. Она входит в систему реконструкции 3D-сцен с bundle adjustment и визуальной SLAM по коллекциям изображений или видео. Для работы BLASt3R нужны два чекпойнта: эта модель сопоставления и отдельная модель глубины naver/blast3r-depth. Репозиторий содержит веса в формате safetensors и настройки извлечения изображений; для реконструкции требуется код BLASt3R. Модель предназначена для нахождения соответствий между изображениями как этапа многовидовой реконструкции. Указана лицензия other; конкретные условия лицензии в предоставленных данных не раскрыты.

Модель разработана Кристианом Унтару в рамках академического проекта SortMed в Западном университете Тимишоары. Это классификатор медицинских текстов на основе RoBERTa с bottleneck-адаптерами: базовый энкодер заморожен, а адаптеры и классификационная голова дообучены. Модель содержит 151,8 млн параметров и принимает короткое описание симптомов на английском языке; контекст — до 514 токенов. Модель относит описание к одной из трёх категорий предварительной оценки срочности: самонаблюдение, консультация врача общей практики или срочная помощь. Она предназначена для академических прототипов, сравнения методов классификации медицинских текстов и экспериментов с параметрически эффективным дообучением. В тестировании на небольшом отложенном наборе показаны accuracy 0,783 и macro recall 0,7818. Обучение проводилось на небольшом наборе примеров, полученных из SymCAT; метки сформированы по правилам и не проверены медицинскими специалистами. Модель не ставит диагноз, не учитывает индивидуальную медицинскую историю и не подходит для самостоятельной оценки экстренных состояний или обработки текстов на других языках. Лицензия — MIT; автор указывает академическое и исследовательское назначение, а практическое применение требует клинической проверки и медицинских мер безопасности.

CALI-0.1B — экспериментальная компактная языковая модель, разработанная Sandroeth и обученная с нуля для изучения небольших архитектур трансформеров и обучения при ограниченных вычислительных ресурсах. Это плотный авторегрессионный трансформер CALI с 121 млн параметров, 11 слоями и скрытым размером 768; в модели используется Grouped-Query Attention (GQA). Репозиторий содержит веса Safetensors для Transformers, а метаданные указывают поддержку диалогового режима. Модель предназначена для экспериментов с генерацией текста на индонезийском и английском языках. Обучающий корпус ограниченного размера включал Википедию, новости, общие документы и исходный код. Результаты приведённых в карточке тестов ниже, чем у ряда сопоставимых небольших моделей; из-за малого корпуса возможны смещения к доменам, преобладавшим в обучении. Для практических сценариев автор рекомендует дополнительное предобучение, дообучение или выравнивание. Указана лицензия Apache-2.0. Для инференса нужна собственная реализация.

Компактная модель DeBERTaV2 для заполнения пропусков в китайском тексте. Её разработали как submission для Chinese BabyLM 2026 Challenge (NLPCC 2026); модель обучена с нуля на корпусе китайских текстов, адресованных детям и созданных детьми, из набора chinese-babylm-org/babylm-zho-100M. Модель использует архитектуру DeBERTaV2ForMaskedLM с disentangled attention и относительными позиционными представлениями. В README указано около 6 млн параметров, WordPiece-токенизатор с китайским словарём из 8 000 токенов и максимальная длина последовательности 256 токенов. Метаданные каталога при этом указывают 33,4 млн параметров и контекст 576 токенов, поэтому размер и длина контекста противоречивы. Модель подходит для экспериментов с языковым моделированием на ограниченных данных и оценки понимания китайского языка; в описанных абляционных испытаниях она показала лучшие результаты среди сравниваемых вариантов на NLU-треке. Это маскированная языковая модель, а не модель для свободной генерации диалога. Лицензия — MIT.

jkminder публикует исследовательский чекпойнт языковой модели d20 из Scaling Ladder — одного из 24 базовых моделей, обученных для изучения различий между случайными инициализациями при предобучении. Это авторегрессионная Nanochat GPT с 20 слоями, скрытым размером 1280, 10 головами внимания и 566,2 млн параметров по метаданным; в README указан точный размер 896,5 млн параметров. Модель предсказывает следующий токен и обучена на данных NVIDIA ClimbMix; инструкция и отдельное обучение безопасности не применялись. Контекст составляет 2048 токенов, а в карточке указан английский язык. Репозиторий содержит контрольные точки разных этапов обучения; для сопоставимых измерений автор рекомендует версии TPP_X с annealing. Модель предназначена прежде всего для экспериментов с предобучением и анализа влияния seed, а не для диалогового использования. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

DeepSeek-R1-Distill-Qwen-7B-abliterated-obliteratus — диалоговая языковая модель Ричарда Янга, созданная методом OBLITERATUS на основе DeepSeek-R1-Distill-Qwen-7B. Это плотная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для генерации текста и диалогов. Она принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. В карточке указан английский язык. Модель модифицирована методом abliteration: авторы описывают его как удаление направления отказа из активаций модели. Приведённые результаты оценки — 50 отказов из 100, ASR 50% и KL-дивергенция 1,191. Это экспериментальная версия для изучения методов abliteration; удаление защитных механизмов может приводить к небезопасным ответам. Лицензия — MIT.

DeepSeek-V2-Lite-Dense-3B-ACP-K6 — плотная языковая модель, полученная из MoE-модели DeepSeek-V2-Lite с помощью pruning и дистилляции. Это исследовательский артефакт из работы «Pruning and Distilling Mixture-of-Experts into Dense Language Models», предназначенный для воспроизведения экспериментов по оценке методов отбора и группировки экспертов. В модели около 2,5 млрд параметров по метаданным; в README указано 2,66 млрд. Контекст — до 163 840 токенов. Репозиторий содержит веса safetensors и поддерживает генерацию текста и диалоги. Модель обучалась на ограниченном бюджете — 0,3 млрд токенов FineWeb-Edu — для сравнения методов при равных условиях. Она не проходила инструкционную настройку и выравнивание, поэтому не предназначена для использования в качестве готового чат-ассистента. В README приведены результаты на нескольких бенчмарках, однако авторы предупреждают, что качество существенно ниже качества исходной модели и предварительно обученных моделей сопоставимого размера. Лицензия обозначена как other; конкретные условия следует проверять в репозитории.

Это обученный агент глубокого обучения с подкреплением DQN для игры SeaquestNoFrameskip-v4 из набора Atari. Модель опубликована организацией Stable-Baselines3 и обучена с использованием библиотеки stable-baselines3 и инструментария RL Zoo. Агент предназначен для выбора игровых действий в среде SeaquestNoFrameskip-v4. Его можно запускать через Stable-Baselines3 или RL Zoo для прохождения игры и экспериментов с обучением и оценкой агентов Atari. Репозиторий содержит веса PyTorch; сведения о размере модели, поддерживаемых языках и лицензии в предоставленных данных отсутствуют.

DW05-Robotwin — выпущенный компанией Dexmal чекпойнт модели мира и действий для вывода роботизированной политики в задачах формата RobotWin и генерации видеороликов с точки зрения камеры робота. Модель относится к семейству DW05; репозиторий содержит веса PyTorch и компоненты среды выполнения для кодирования изображений и текстовых инструкций. Политика принимает изображения RGB-камеры, состояние робота и инструкцию на естественном языке, после чего предсказывает будущие действия робота и может генерировать видео его будущего обзора. Модель предназначена для экспериментов с роботизированными политиками и развертывания через среду Dexbotic DW05. Для нормализации действий и состояния нужны соответствующие статистики RobotWin, а входные данные должны быть подготовлены по требованиям этой среды. Лицензия — Apache-2.0. В README указано, что перед использованием на реальном роботе необходимы отдельная проверка безопасности и тестирование в целевой среде; качество за пределами распределения задач и наблюдений RobotWin не гарантировано.

Lanni-ni/dynamic_forgetting_4_6_384_babylm_100m_seed44_epoch3 — небольшая модель для генерации текста из библиотеки Transformers с 27,6 млн параметров. Название указывает на экспериментальную серию dynamic_forgetting и связь с BabyLM; в метаданных также отмечены форматы safetensors и задача text-generation. Разработчик, точная архитектура, языки, длина контекста и исходная модель в доступных материалах не описаны. Модель может использоваться для продолжения коротких текстовых последовательностей, исследовательских экспериментов с генеративными языковыми моделями и тестирования методов обучения или забывания. Лицензия в README и метаданных не указана, поэтому условия распространения и коммерческого использования необходимо уточнить до применения.

Lanni-ni/dynamic_forgetting_4_6_384_inverse_babylm_100m_seed44_epoch7 — компактная модель генерации текста на базе Transformers с 27,6 млн параметров. Название указывает на связь с экспериментом dynamic forgetting и семейством BabyLM 100M, однако README не содержит подробного описания архитектуры, разработчиков, обучающих данных или методики обучения. Модель предназначена для авторегрессионной генерации текста и может использоваться в исследовательских экспериментах с языковыми моделями, включая изучение методов dynamic forgetting. README не приводит сведения о поддерживаемых естественных языках, длине контекста, результатах оценки, лицензии или рекомендуемых сценариях применения.

E2L ALFWorld — экспериментальный контрольный чекпойнт на базе Qwen2.5-7B-Instruct, созданный проектом Ch1nyzzz/e2-learning. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и принимает текстовый ввод, выдавая текст; контекстное окно — 32 768 токенов. Чекпойнт получен полнопараметрическим обучением с онлайн-обучением на ошибках: для ALFWorld AlfredTWEnv применялось SFT на следующих наблюдениях с отбором по семантическому критерию. Он предназначен как начальная точка для дальнейшего обучения политики методом GRPO в Stage 2, а не как готовый универсальный помощник. Для загрузки подходит стандартный Hugging Face Transformers. Лицензия — Apache-2.0.

E²-TTTMLP 340M — авторский языковой чекпойнт zeyun-zhong с архитектурой E²-TTT_MLP, сочетающей обновляемые быстрые веса и скользящее оконное внимание. В каждом слое ветвь TTT объединена с ветвью внимания обучаемым шлюзом памяти; быстрые веса обновляются чанками по 512 токенов. В модели около 385 млн параметров по метаданным, а в README приведено 424,8 млн; она обучена на 15 млрд токенов набора FineWeb-Edu и рассчитана на контекст около 2048 токенов. Модель предназначена для продолжения текста и экспериментов с тестовым дообучением и линейным вниманием, а не для диалогов общего назначения. Обучение велось на английских веб-текстах; модель не проходила инструкционное дообучение или выравнивание. Более длинные контексты в README описаны как экстраполяция. Для использования требуется пакет e2_ttt, реализующий архитектуру для Transformers; в репозитории модели кода этой архитектуры нет. Лицензия — MIT.

Ember — сверхкомпактная языковая модель SurjoLabs с 2,9 млн параметров, предназначенная для генерации текста и экспериментов с малыми языковыми моделями. Она использует плотную рекуррентную архитектуру XSA на основе варианта Llama: повторное использование весов в рекуррентных проходах даёт глубину, эквивалентную 11 слоям, при восьми слоях уникальных весов. Контекст модели — 2048 токенов, формат весов — safetensors, лицензия — MIT. Модель обучена на 20 млрд токенов англоязычных веб-текстов, математических данных и кода; её токенизатор имеет словарь из 4096 токенов. В README приведены результаты на HellaSwag, ARC-Easy и ARC-Challenge, а также упомянуты оценки на PIQA и ArithMark-3. Ember представляет интерес для экспериментов с компактными рекуррентными архитектурами и оценки генерации текста при очень малом числе параметров. Авторы характеризуют её как ранний тест проекта и предупреждают о нестабильности кода, особенно при использовании для обучения.

Estiva 250M PT-BR Base — экспериментальная базовая языковая модель, разработанная Wilson Ramos и обученная с нуля для продолжения текста на бразильском португальском. Это decoder-only GPT на 250,6 млн параметров с 18 слоями, 16 головами внимания, RoPE, RMSNorm и SwiGLU. Модель принимает текст и генерирует текст; максимальный контекст — 2048 токенов. Опубликованные веса сохранены в формате safetensors с точностью float32, для обучения применялся autocast bfloat16. Модель подходит для изучения и воспроизведения экспериментов по предобучению языковых моделей, а также для краткой генерации текста на pt-BR. Она не настроена на выполнение инструкций и не является чат-ассистентом. В качественных примерах отмечены повторы, фактические галлюцинации и ненадёжные ответы на вопросы; независимых бенчмарк-оценок нет. Указана лицензия other, открытая лицензия на веса не заявлена; для корпуса обучения следует отдельно проверять условия использования его источников.

FlashVLA · LingBot-VLA · RoboTwin 2.0 — это дообученная на наборе RoboTwin 2.0 модель vision-language-action для управления роботом, разработанная на базе robbyant/lingbot-vla-4b-posttrain-robotwin и использующая потоковое декодирование действий FlashVLA. Она предназначена для многозадачного выполнения 50 задач RoboTwin 2.0 в чистых и рандомизированных условиях; модель принимает визуальные и языковые наблюдения и предсказывает действия робота с использованием flow matching. В опубликованных результатах средняя успешность составила 88,6% при синхронном выполнении и 89,3% при запуске вывода до завершения текущего блока действий. Заявленная задержка вывода — 25,1 мс, что в 2,81 раза ниже базовой LingBot-VLA; время на шаг также сокращено. Данные результаты относятся к бенчмарку RoboTwin 2.0 и сами по себе не подтверждают качество на других роботах или задачах. Репозиторий содержит веса в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

FLUX 3 Action DROID — дообученная Black Forest Labs 7-миллиардная world action model для управления роботом на конфигурации DROID с манипулятором Franka. Модель принимает три RGB-изображения с камер, состояние робота и текстовую инструкцию, а затем совместно предсказывает следующий блок из 32 действий и будущие видеокадры. Заявленная частота действий — 15 Гц; веса представлены в формате safetensors, а проверенная политика использует BF16. Модель предназначена для выполнения настольных манипуляционных задач по инструкции. На RoboLab-120 в симуляции Isaac Sim авторы сообщают об успешном выполнении 42,92% задач на Franka-конфигурации DROID. Для запуска требуется GPU: авторы указывают около 32 ГБ памяти H200 в BF16 или 24 ГБ при квантовании FP8 с выгрузкой текстового энкодера. Лицензия обозначена как other; README содержит ограничения на применение, в том числе требование человеческого надзора и возможности остановить машину при потенциально опасном управлении. Модель не ограничивает скорость суставов, силу или рабочую зону, поэтому эти пределы должна обеспечивать управляющая система.

Frank — экспериментальная чат-модель, созданная небольшой независимой командой и обученная с нуля; её архитектура лишь отчасти опирается на nanochat. Репозиторий содержит SFT-чекпойнт на шаге 300. Это декодерный трансформер на 1,99 млрд параметров с 24 слоями, шириной 1536 и контекстом 1024 токена. Веса опубликованы в формате safetensors в BF16 под лицензией MIT. Главная особенность Frank — отдельное пространство эпистемических эмбеддингов, предназначенное для оценки того, насколько хорошо модель усвоила конкретные токены, и калибровки выражаемой уверенности. Также используются RoPE, RMSNorm, нормализация QK, ReLU², ограничение логитов и скользящее внимание с полным контекстом в последнем слое. Модель рассчитана на англоязычный чат, эксперименты и изучение способов встроить оценку уверенности в LLM; для нестандартной архитектуры требуется специальная обвязка. Frank уступает современным крупным моделям в сложных рассуждениях и не подходит как производственная зависимость. Короткое контекстное окно требует разбивать длинные документы; у модели нет доступа к инструментам, вебу или исполнению кода, а в арифметике она может ошибаться. Английский — основной язык, качество на других языках слабее; эпистемическая оценка не гарантирует истинность ответа, поэтому важные сведения нужно проверять.

hsmehta012/functiongemma-270m-it-smart-cockpit — компактная текстовая модель, дообученная автором репозитория на базе google/functiongemma-270m-it с использованием TRL. Это диалоговая модель на архитектуре Gemma 3 Text с 257 млн параметров, предназначенная для генерации текста в сценарии умного автомобильного кокпита; пример в карточке показывает ответы на пользовательские вопросы. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и распространяется в формате Safetensors для Transformers. Карточка не приводит подробностей о составе обучающих данных, точных функциях кокпита или результатах оценки качества. Лицензия в предоставленных данных не указана.

GATS Cold-Start — экспериментальная модель для исследований стратегий холодного старта агентного обучения с подкреплением и воспроизведения базовых результатов статьи GATS на WebShop. Это дообученная версия Qwen2.5-7B-Instruct с архитектурой Qwen2 dense и 7,1 млрд параметров. В фазе pure on-policy distillation модель выполняла действия в WebShop и обучалась имитации модели-учителя Qwen2.5-1.5B, обученной методом GRPO на задачах WebShop; обучение включало 29 шагов без слагаемого награды RL. Валидация до RL показала 60,2%. Модель принимает текст и генерирует текст для взаимодействия со средой WebShop; контекст — до 32 768 токенов. Разработана в рамках коллекции Cold-start для статьи GATS. Лицензия Apache-2.0.

GneissWeb.7B_ablation_model_on_350B_FineWeb.seed1 — языковая модель IBM Research с плотной архитектурой Llama и примерно 6,6 млрд параметров. Она обучена на случайной выборке из 350 млрд англоязычных токенов корпуса FineWeb V1.1.0 с токенизатором StarCoder; максимальная длина контекста составляет 8192 токена. Модель предназначена прежде всего для исследовательского сравнения результатов предобучения на разных наборах данных. Она генерирует текст, но не проходила дообучение на инструкциях и выравнивание по требованиям безопасности, поэтому не рассчитана на надёжное выполнение пользовательских инструкций. Лицензия — Apache 2.0. Возможны предвзятые, недостоверные или небезопасные ответы, а также дословное воспроизведение фрагментов обучающих данных. Качество модели для прикладных сценариев в карточке не подтверждено.

GoLLeM-45M-PL — авторская модель GPT-2, созданная KateMajzel с нуля для исследовательского сравнения польского BPE-токенизатора с токенизатором GPT-2. Это плотная авторегрессионная языковая модель с 42,5 млн параметров, 8 слоями, 8 головами внимания и контекстом 1 024 токена. Она обучена на 2,96 ГБ польских текстов из 803 177 документов и использует байтовый BPE-токенизатор с польским словарём на 32 768 элементов. Модель предназначена для продолжения польского текста и изучения влияния специализированного токенизатора на стоимость обучения. В описанном эксперименте качество при равном объёме данных было сопоставимо с GPT-2-токенизатором, а при сопоставимом вычислительном бюджете польский токенизатор дал преимущество по метрике bits-per-byte. Репозиторий распространяется по лицензии MIT. Модель не настроена на выполнение инструкций и не имеет фильтрации безопасности. Она может создавать правдоподобные, но фактически неверные сведения, терять связность после нескольких предложений, повторяться при жадном декодировании и воспроизводить особенности форумных и энциклопедических текстов, включая предвзятости и переводы строк Windows. Авторы не рекомендуют применять её как пользовательский инструмент без контроля человека; результаты эксперимента относятся к данной конфигурации и масштабу.

GoLLeM-45M-PL — экспериментальная GPT-2-модель, созданная SlayerLab и опубликованная как зеркальная копия репозитория KateMajzel/GoLLeM-45M-PL. Она обучена с нуля на 2,96 ГБ польских текстов и предназначена для исследования влияния специализированного польского токенизатора BPE на стоимость и качество обучения. Модель содержит 42,5 млн параметров, имеет 8 слоёв, 8 голов внимания, размерность 512 и контекст 1 024 токена; поддерживает генерацию текста на польском языке. Лицензия репозитория — MIT. Модель продолжает текст по заданному фрагменту и может служить небольшим исследовательским чекпойнтом для сравнения токенизаторов и экспериментов с генерацией на польском языке. В описанных экспериментах качество при равном объёме обучающих данных было сопоставимо с GPT-2, а специализированный токенизатор позволял снизить стоимость обучения. Модель не проходила инструкционное дообучение и не предназначена для ответов на пользовательские запросы как диалоговый помощник. Из-за небольшого размера она может повторяться, терять связность после нескольких предложений и выдумывать факты; генерации также могут отражать предубеждения и лексику обучающих форумов. Для использования с конечными пользователями требуется человеческий надзор.

zhouaz/gpt2-30m-fineweb-edu — компактная авторская модель в стиле GPT-2, обученная с нуля на образовательной веб-выборке FineWeb-Edu. Это декодерная языковая модель с 6 слоями, размерностью скрытого состояния 384, 6 головами внимания и словарём из 50 257 токенов GPT-2 BPE; в ней около 30,1 млн параметров, а контекст составляет 512 токенов. Модель предназначена для генерации продолжения английского текста и демонстрации полного конвейера предварительного обучения. Она обучалась на упакованных блоках длиной 512 токенов и обработала около 131 млн токенов за 4 000 шагов. Автор сообщает, что модель сильно недообучена: ожидаются повторы и низкая связность текста, поэтому её качество недостаточно для надёжных прикладных сценариев. Лицензия — Apache-2.0.

GPT2_AR_8680 (в карточке указано имя AR868041) — языковая модель семейства GPT-2, обученная авторами с нуля на неизвестном наборе данных. Она предназначена для генерации текста и работает с контекстом до 512 токенов. В метаданных указаны архитектура GPT2LMHeadModel, библиотека Transformers и формат весов safetensors. На оценочном наборе модель показала loss 4,5867 и accuracy 0,2572; назначение, языки обучения и подробности оценки не описаны. Лицензия в предоставленных данных не указана.

Diluner/gpt54-mini-sequential-qwen3-4b-rose-s1-babyai-20260920 — дообученный Diluner чекпойнт Qwen/Qwen3-4B с использованием ROSE и модели-учителя gpt-5.4-mini. Это финальный чекпойнт первого этапа последовательного обучения BabyAI → TextCraft → SearchQA: пять эпох и 125 обновлений оптимизатора на этапе BabyAI. Модель представляет собой плотную языковую архитектуру Qwen3ForCausalLM примерно на 3,7 млрд параметров, экспортированную в safetensors; базовая модель поддерживает контекст до 40 960 токенов. Чекпойнт предназначен для генерации текста и диалогового взаимодействия в сценариях BabyAI, а также для экспериментов по последовательному обучению агента. Для этого конкретного промежуточного чекпойнта завершённая оценка не приложена, поэтому результаты полной цепочки из трёх сред нельзя считать его результатами; также чекпойнт не подтверждает преимущество метода или воспроизводимость на разных запусках. В репозитории нет заявленной лицензии: следует учитывать условия базовой модели и применимые условия использования.