I.13Симуляция, моделирование и открытие нового

Исследовательский чекпойнт из коллекции Illusion of LLM Unlearning, созданный дообучением модели open-unlearning/unlearn_tofu_Llama-3.2-1B-Instruct_forget10_IdkNLL_lr1e-05_alpha10_epoch10. Авторы выполнили 300 шагов обычного supervised fine-tuning на наборе фактов, который исходная модель должна была забыть; цель эксперимента — измерить, насколько быстро эти факты восстанавливаются. Модель основана на плотной архитектуре LlamaForCausalLM, содержит 1,2 млрд параметров, работает с текстом и имеет контекстное окно 131 072 токена. Чекпойнт предназначен для исследований оценки машинного забывания и повторного усвоения данных, а не для развёртывания как универсального чат-бота. В эксперименте verbatim NLL на наборе забывания снизился с 0,207 до 0,0104 после дообучения; точность ранжирования правильного факта среди шести вариантов составила 0,650 после обучения. Данные TOFU описывают вымышленных авторов, поэтому содержащиеся в ответах сведения о них фиктивны. Лицензия — MIT.

Это исследовательская модель DeBERTa-v3-base, разработанная командой Augustinian BabyLM для изучения влияния визуально обусловленной инициализации на обучение небольших языковых моделей. Она предсказывает замаскированные токены в тексте. Перед обучением эмбеддинги слов, обозначающих области на изображениях в данных визуального заземления, инициализировали средними признаками DINOv3 для этих областей; остальные эмбеддинги сохраняли случайную инициализацию. Модель содержит 190 млн параметров, имеет 12 слоёв и контекст до 1024 токенов. Модель обучалась 10 эпох на корпусе bb24.train объёмом около 9,9 млн слов, содержащем перефразировки, сгенерированные LLM, и части официального корпуса BabyLM. Эксперименты показали улучшение на тестах свойств объектов, связанных с визуально заземлёнными словами, при этом результаты грамматических тестов оставались примерно на прежнем уровне. Модель предназначена для исследований обучения с ограниченными данными и визуальной инициализации, а не для развёртывания. Лицензия — CC BY 4.0.

gslm-scaling-20m-1p3b — исследовательский речевой языковой чекпойнт, опубликованный как конечная точка кривой масштабирования из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Он содержит 20 710 912 параметров и обучался на 1 325 120 000 токенах, по 131 200 токенов на обновление. Архитектура — плотная TransformerLM; веса представлены в FP32 и формате safetensors. Модель предсказывает последовательности дискретных речевых единиц: кластеризованные K-means-токены слоя 11 mHuBERT с частотой 25 Гц и размером словаря кластеров K=500. Пример использования генерирует продолжение последовательности таких токенов. В README приведены результаты оценивания на sBLIMP и sStoryCloze/tStoryCloze. Это чекпойнт для исследований масштабирования и оценки речевых языковых моделей; готовый вокодер в комплект не входит, поэтому сами по себе выходные токены не являются аудиосигналом. Модель опубликована под лицензией Apache-2.0. В карточке указана задача text-generation; она генерирует токенизированные представления речи, а не готовую речь или обычный текст для пользователя.

Это обученный методом PPO агент, созданный с помощью библиотеки Unity ML-Agents для игры Huggy. Модель предназначена для управления игровым агентом: её можно использовать для запуска игры или продолжения обучения через ML-Agents. В репозитории размещён файл ONNX. Модель принимает состояние игровой среды и выдаёт действия агента; язык интерфейса модели не относится к естественным языкам. Карточка не приводит размер модели и условия лицензии, поэтому эти сведения здесь не уточняются.

Llama-1B Perturbed BPE — англоязычная авторегрессионная языковая модель с архитектурой Llama, разработанная для контролируемых исследований токенизации. Модель с 1 млрд параметров обучена с нуля, а не дообучена от версии с обычным BPE. Она использует байтовый BPE-токенизатор словаря примерно на 32 тысячи токенов с настройкой возмущения p=0,3. Модель предназначена для исследовательских экспериментов с языковым моделированием и токенизацией. Это базовая модель для продолжения текста, а не чат-модель и не модель, следующая инструкциям. Контекст составляет 2048 токенов; веса доступны в формате Safetensors и имеют точность bfloat16. В обучении использовано около 10 млрд токенов FineWeb-EDU-dedup-10B. Модель принимает текст и генерирует текст на английском языке. Её не оценивали на безопасность, фактическую точность и справедливость; карточка не рекомендует её для производственного использования. Сведения о лицензии в предоставленных данных отсутствуют.

Pinyin-Code Causal LM — причинная языковая модель на базе Transformers с архитектурой PinyinCodeForCausalLM. Репозиторий содержит экспорт модели с 41,7 млн параметров и контекстом до 512 токенов; токенизатор использует собственный формат atomic_bpe_within, а входной текст представлен в виде pinyin-code. Для преобразования обычного китайского текста в пиньинь предусмотрен pypinyin, а сегментация с jieba включена в конфигурации экспорта. Модель предназначена для авторегрессионной генерации продолжения текста на пиньинь-коде. Она также позволяет извлекать скрытые представления через output_hidden_states, что может быть полезно в экспериментальных задачах представления текста. Для загрузки требуется Transformers с trust_remote_code=True и причинный бэкенд; лицензия в предоставленных данных не указана.

O1-Llama 3.2 3B — дообученная модель на основе Llama 3.2 3B от Meta, созданная для исследования явных рассуждений в небольших языковых моделях. Она обучена на 2 000 разобранных решений из набора ReasonSet с использованием метода REL (Reasoning Enhancement Loop) и предназначена для математических и логических задач, включая задачи из AIME, GPQA и MATH. Модель с архитектурой LlamaForCausalLM содержит 3,2 млрд параметров, принимает текст и генерирует текст. В карточке указана длина контекста 131 072 токена. Она демонстрирует перебор стратегий, пошаговое решение, попытки самокоррекции и проверку ответов. Это экспериментальный proof-of-concept для исследований поведения при решении задач, а не для практического внедрения. По сравнению с крупными моделями она работает слабее, может зацикливаться, ошибаться даже при наличии рассуждений и ограничена сравнительно простыми задачами. Лицензия в предоставленных данных не указана.

Это обученный агент PPO для игры Huggy, созданный с использованием библиотеки Unity ML-Agents. Модель предназначена для управления агентом в игровой среде: её можно запустить для просмотра игры или использовать как основу для продолжения обучения с ML-Agents. Репозиторий содержит модель в формате ONNX. Карточка не сообщает размер модели, параметры среды обучения, поддерживаемые естественные языки или лицензию. Агент обучен для конкретной игровой среды Huggy, поэтому его применение к другим играм или задачам не подтверждено.

Это обученная методом proximal policy optimization (PPO) модель агента для игры Huggy, опубликованная franklee1015. Модель создана с использованием Unity ML-Agents и предназначена для управления игровым агентом в среде Huggy; её можно запускать для просмотра игры или использовать для продолжения обучения через ML-Agents. В репозитории представлен формат ONNX. Модель принимает наблюдения среды и выдаёт управляющие действия агента. Карточка не приводит размер модели, параметры среды, метрики качества или перечень поддерживаемых языков. Лицензия в предоставленных данных не указана.

Freddy39/ppo-Huggy — обученная методом Proximal Policy Optimization (PPO) модель агента для игры Huggy. Она создана с использованием Unity ML-Agents и предназначена для запуска агента в соответствующей игровой среде, а также продолжения его обучения через ML-Agents. В репозитории представлена модель в формате ONNX. Модель принимает наблюдения игровой среды и выдаёт действия агента. Карточка не описывает конкретные наблюдения, набор действий или показатели качества, поэтому их нельзя уточнить. Лицензия в предоставленных сведениях не указана.

Это обученная методом Proximal Policy Optimization (PPO) модель агента, который играет в Huggy. Модель создана с использованием библиотеки Unity ML-Agents и предназначена для запуска агента в соответствующей игровой среде, а также для продолжения обучения через ML-Agents. В репозитории представлен формат ONNX. Агент получает наблюдения игровой среды и выдаёт действия для управления персонажем. Карточка описывает применение модели в игре, но не приводит подробностей об архитектуре сети или качестве игры. Лицензия в предоставленных данных не указана.

Это экспериментальный чекпойнт Qwen2.5-1.5B-Instruct, разработанный Chanyoung Kim и дообученный методом обучения с подкреплением PPO на среде ALFWorld с использованием langfengQ/verl-agent. Модель предназначена для генерации текста и выбора действий в задачах взаимодействия с виртуальным окружением ALFWorld; в README указан шаг оптимизатора 20 и проверочная успешность 13,3% на небольшом наборе valid_seen из 32 задач. Чекпойнт основан на плотной авторегрессионной архитектуре Qwen2ForCausalLM с 1,5 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Веса сохранены в bf16 и формате safetensors; модель распространяется по лицензии Apache-2.0. Это ранний промежуточный шаг обучения, поэтому качество ограниченно: приведённый результат относится только к valid_seen, проверка valid_unseen не проводилась, а оценка на небольшой выборке шумная. Для возобновления обучения доступны FSDP-состояния, рассчитанные на world_size=2; при другом числе GPU потребуется переразбиение.

ProgressGym-HistLlama3-70B-C014-pretrain — экспериментальная исследовательская языковая модель команды PKU-Alignment для изучения эмуляции исторических моральных взглядов и прогресс-ориентированного выравнивания ИИ. Она создана на базе Meta-Llama-3-70B и продолжительно предварительно обучена на корпусе текстов XIV века ProgressGym-HistText; объём данных этого этапа ограничен 3 ГБ. Модель содержит 69,5 млрд параметров, использует плотную архитектуру Llama и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста, экспериментов с поведением языковых моделей, обученных на исторических материалах, и исследований риска закрепления современных ценностных установок. Это базовая версия без дообучения на инструкциях, поэтому она не рассчитана на надёжное следование пользовательским запросам или готовое применение как диалоговый помощник. Карточка указывает лицензию CC BY 4.0.

SeanWang0027 выпустил дообученную методом on-policy distillation модель Qwen3-1.7B для задач BabyAI. Это плотная авторегрессионная языковая модель на архитектуре Qwen3 с 1,7 млрд параметров и контекстом до 40 960 токенов. В качестве учителя использовалась Qwen3-32B в формате bf16; обучение прошло в три прохода по 810 официальным тренировочным заданиям BabyAI, а опубликованный чекпойнт соответствует шагу explorer 152. Модель предназначена для генерации текста и диалогового выполнения задач BabyAI. Результаты не оценивались, поэтому качество и способность обобщать на новые задания не подтверждены. Репозиторий содержит веса Safetensors; сведения о лицензии в предоставленных данных отсутствуют.

augustinian-babylm/deberta-base-50k-sam — исследовательская модель семейства DeBERTa-v3-base, созданная в рамках проекта Augustinian BabyLM для изучения того, чему языковая модель может научиться через остенсивное определение. Это masked language model с 151,6 млн параметров: она принимает текст и предсказывает замаскированные токены. Контекст — до 1024 токенов; модель обучена для английского языка. Перед обучением эмбеддинги слов, обозначающих области в данных визуального заземления, инициализировали средними признаками соответствующих областей из SAM ViT-B; остальные эмбеддинги оставили со случайной инициализацией. Затем модель обучали 10 эпох на корпусе bb24.train объёмом около 9,9 млн слов. По описанным результатам, визуальная инициализация улучшила показатели на тестах свойств объектов, тогда как грамматические тесты остались примерно без изменений. Модель предназначена для исследования влияния визуально обусловленной инициализации на языковое обучение, а не для развёртывания в прикладных системах. Результаты нельзя напрямую сравнивать с моделями, обученными на официальном наборе BabyLM 2026 strict-small: использован другой корпус. Лицензия — CC BY 4.0.

Bochkov/growing-transformers-model-16-bit-1-9-181m — исследовательская абляционная модель из сравнительного исследования Growing Transformers. Это декодерный трансформер с 9 слоями, 32 головами внимания и размерностью скрытого состояния 1024; в метаданных указано 218,1 млн параметров. Модель обучалась поэтапным наращиванием слоёв: на каждом этапе обучались новые блоки, а ранее обученные слои замораживались. Контекст обучения составлял 1024 токена. Вместо обычных обучаемых эмбеддингов модель использует замороженные 16-мерные бинарные векторы для 65 536 токенов. Вектор строится из идентификатора токена и повторяется до размерности 1024. Модель предназначена для изучения поэтапного обучения трансформеров и возникновения семантических представлений при минимальных входных эмбеддингах, а также для сравнений с другими вариантами эмбеддингов. Это генератор текста на английском языке, а не универсальный ассистент: автор предупреждает о ненадёжности ответов и возможных смещениях из обучающего корпуса. Лицензия — Apache-2.0.

gslm-scaling-823m-16p5b — исследовательский речевой языковой Transformer на 823 млн параметров от Tiago Cuervo. Это FP32-чекпойнт конечной точки кривой масштабирования из работы «Scaling Properties of Speech Language Models» (EMNLP 2024), обученный на 16,499 млрд токенов. Модель генерирует последовательности дискретных речевых единиц: схлопнутых подряд идущих кластеров K-means из слоя 11 mHuBERT с частотой 25 Гц; EOS имеет индекс 500, PAD — 501. Репозиторий помечен задачей text-generation и содержит веса safetensors. Для генерации модель принимает последовательность токенов и предсказывает следующие речевые единицы. README приводит оценки на sBLIMP и StoryCloze, но не описывает пользовательские сценарии или поддержку естественных языков. Вокодер в комплект не входит, поэтому из одних весов нельзя получить звучащую речь. Лицензия — Apache-2.0.

gslm-scaling-823m-26b — исследовательская речевая языковая модель из работы «Scaling Properties of Speech Language Models» (EMNLP 2024); репозиторий содержит веса модели FP32. Модель на архитектуре TransformerLM предсказывает последовательности речевых единиц: схлопнутые повторы 25-Гц K-means-токенов слоя 11 mHuBERT с размером словаря K=500 и отдельными токенами EOS и PAD. Модель предназначена для генерации речевых токенов и исследований свойств масштабирования speech-language models. Для получения аудио нужны отдельные средства декодирования и вокодер: они в репозитории не приложены. В README приведены оценки на sBLIMP и StoryCloze; для подготовки данных, оценки и декодирования автор рекомендует кодовую базу slm-research. Лицензия весов — Apache-2.0; исходные наборы данных и вокодер CodeHiFiGAN имеют собственные лицензии.

DaSHENGGE/ppo-Huggy — обученный с помощью библиотеки Unity ML-Agents агент на основе PPO, предназначенный для игры в Huggy. Модель представлена в формате ONNX и может использоваться в среде ML-Agents для просмотра игры агента или продолжения обучения. Агент принимает состояние игрового окружения и выдаёт действия для управления персонажем. README не сообщает размер модели, поддерживаемые языки или подробности архитектуры нейронной сети. Модель предназначена для игрового сценария Huggy; условия лицензии в доступных данных не описаны.

Rubywong123/ppo-Huggy — обученный агент на основе алгоритма Proximal Policy Optimization (PPO), созданный с помощью библиотеки Unity ML-Agents. Он предназначен для управления персонажем Huggy в игровой среде: агент получает состояние среды и выбирает действия, чтобы играть. Модель доступна в формате ONNX; её можно использовать с ML-Agents для продолжения обучения или просмотра игры агента. Модель ориентирована на одну игровую задачу, а README не сообщает размер сети, набор наблюдений или конкретные игровые цели. Для работы нужны совместимая среда Huggy и инструменты Unity ML-Agents. Лицензия в предоставленных данных не указана.

Это обученный агент PPO, созданный автором репозитория hythyt для игры SnowballTarget с использованием Unity ML-Agents. Модель предназначена для управления агентом в этой игровой среде и может запускаться в среде ML-Agents; репозиторий также описывает возможность продолжить обучение и просматривать игру агента в браузере. Модель представлена в формате ONNX. Данных о размере, языковых возможностях и лицензии в доступной карточке нет. Это специализированный игровой чекпойнт для обучения с подкреплением, а не языковая модель.

Это обученная методом Proximal Policy Optimization (PPO) модель агента, созданная для игры SnowballTarget с использованием Unity ML-Agents. Она принимает наблюдения из игровой среды и выдаёт действия агента для игры. Модель распространяется в формате ONNX и предназначена для запуска в совместимой среде ML-Agents, просмотра игры агента или продолжения обучения. Карточка не сообщает размер модели, языки, длину контекста или лицензию. Модель рассчитана на игровую задачу SnowballTarget; перенос её поведения на другие среды не описан.

Vibelet разработала rwkv-hils-3-m10 — экспериментальную текстовую языковую модель на 44,6 млн параметров для изучения гибридных рекуррентных и разреженных механизмов внимания. В 12 слоях чередуются блоки RWKV-7 и HiLS: механизм HiLS выбирает важные фрагменты по их сводкам и дополнительно учитывает локальное окно. Модель использует byte-level BPE со словарём 4096 токенов и позиционный бюджет 8192 токена; обучение смешивало обычный текст, синтетические последовательности скобок и примеры поиска заданного фрагмента. Модель предназначена для экспериментов с архитектурой, поведением поиска в контексте и динамикой обучения малых языковых моделей. В измерениях checkpoint показал точный поиск одиночного фрагмента на длинах до 4K токенов в варианте задачи из обучающих данных и высокую точность на закрывающих скобках в синтетической задаче. Эти результаты не означают способности надёжно искать произвольную информацию или поддерживать связность на длинных текстах. Модель не обучена следованию инструкциям и настройке безопасности; длинные генерации склонны к повторениям, а фактическую надёжность README не подтверждает. Репозиторий распространяет веса fp32 в safetensors; лицензия — MIT.

Это исследовательская модель DeBERTa-v3-base, разработанная командой Augustinian BabyLM. Перед обучением векторы эмбеддингов слов, обозначающих области в данных визуального grounding, инициализировали средними признаками DINOv3 для этих областей; остальные эмбеддинги получили случайную инициализацию. Затем модель обучали как masked language model на корпусе bb24.train объёмом около 9,9 млн слов в течение 10 эпох. Архитектура включает 12 слоёв, 12 голов внимания и размер скрытого представления 768; всего 170,8 млн параметров, контекст — до 1024 токенов. Модель предназначена для предсказания замаскированных слов и исследования того, как визуально обусловленная инициализация влияет на усвоение языкомоделирующих и связанных с объектами свойств. В описанных экспериментах обнаружен прирост на тестах свойств объектов, тогда как грамматические бенчмарки остались примерно без изменений. Обучение использовало нестандартный корпус, содержащий данные, сгенерированные LLM, поэтому результаты напрямую несопоставимы с моделями, обученными на официальном наборе BabyLM 2026 strict-small. Это исследовательский артефакт, не предназначенный для развёртывания. Лицензия — Creative Commons Attribution 4.0 (CC-BY-4.0).

Это плотная TransformerLM-модель семейства SLM, опубликованная Tiago Cuervo как конечная точка масштабирования для работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Веса FP32 содержат 20 710 912 параметров; модель обучалась на 65 324 480 000 токенах с размером обновления 131 200 токенов. Модель авторегрессионно предсказывает последовательности дискретных речевых единиц: схлопнутые подряд повторы кодов слоя 11 mHuBERT, полученных K-means-квантованием с K=500 и частотой 25 Гц. Она рассчитана на исследование языкового моделирования речи и генерацию таких последовательностей. В примере из карточки на вход подаются целочисленные токены, а на выходе генерируются новые токены; готовый вокодер в репозиторий не включён, поэтому для получения звуковой речи нужны дополнительные компоненты. В карточке приведены результаты на sBLIMP и sStoryCloze, включая точность 57,07% и 53,55% соответственно, а также 69,96% на tStoryCloze. Модель распространяется по лицензии Apache-2.0. Результаты и специализированное представление токенов ограничивают её применение экспериментами с речевыми языковыми моделями; она не является самостоятельной системой распознавания или синтеза аудио.

Языковая модель okazaki-lab/japanese-reversed-gpt2-medium-unidic — средняя по размеру версия GPT-2 для генерации японского текста справа налево. Её разработала команда Okazaki Lab; для обучения использовалась кодовая база, предоставленная rinna Co., Ltd. Модель основана на Transformer и включает 24 слоя, 16 голов внимания и скрытое представление размерности 1024. Контекст — до 1024 токенов. Модель обучена на японских версиях CC-100 и Википедии; токенизатор использует MeCab и WordPiece, его словарь содержит 32 771 токен. Она предназначена для генерации японских последовательностей в обратном порядке; для работы нужны PyTorch, fugashi с unidic-lite и Transformers. В README приведено значение perplexity 9,79 на валидационном наборе. Лицензия — CC BY-SA 4.0.

JarvisVLA-Qwen2-VL-7B — модель Visual-Language-Action, разработанная CraftJarvis для выполнения задач в Minecraft по инструкциям на естественном языке. Она дообучена на Qwen/Qwen2-VL-7B и сочетает понимание изображений с диалоговым интерфейсом; репозиторий содержит веса Safetensors для Transformers. Размер модели — 7,1 млрд параметров, длина контекста — 32 768 токенов. Карточка заявляет поддержку тысяч игровых навыков и взаимодействие с открытым миром Minecraft. Модель предназначена для управления игровыми действиями на основе визуального состояния Minecraft и текстовых команд. Лицензия — MIT. Карточка не уточняет поддерживаемые версии игры, точный интерфейс передачи игровых действий или результаты количественной оценки качества.

Карточка модели ivykopal/nlp-2026-hanoi-sft-50 на Hugging Face совпадает с карточкой ivykopal/nlp-2026-hanoi-sft, поэтому описание составлено по ней. Компактная языковая модель на архитектуре Llama с 134,5 млн параметров, созданная авторами NLP 2026 полным дообучением SmolLM2-135M-Instruct. Она генерирует последовательность ходов для головоломки «Ханойская башня»: один ход на строку в формате вроде A->C. Модель обучалась имитировать оптимальные траектории, включая демонстрации с 20% искусственно испорченных траекторий. Контекст составляет 8192 токена; поддерживается английский язык. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Модель предназначена для исследований и обучения: изучения влияния шума в демонстрациях, переноса на более длинные решения и использования в качестве SFT-базовой модели для GRPO/GSPO. На задачах с 3–5 дисками доля полностью решённых головоломок на отложенных перестановках составляла 0,60. При переходе с обучающих примеров до 5 дисков на 6 дисков модель выдаёт 31 легальный ход вместо требуемых 63 и не решает головоломку. Это специализированная модель, а не универсальный ассистент.

opd-teacher-Q2.5I-MaximumWeightMatching-step149 — языковая модель на архитектуре Qwen2, разработанная на основе Qwen/Qwen2.5-1.5B-Instruct. Она дообучена методом GRPO с использованием RLVE на среде MaximumWeightMatching с уровнем сложности 0; это финальный чекпойнт после 150 обновлений обучения. Модель предназначена для эксперимента по on-policy-дистилляции в конфигурации с 32 средами. Модель содержит 1,5 млрд параметров, принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Максимальная длина контекста — 32 768 токенов. Карточка указывает английский язык. Веса преобразованы из исходного чекпойнта в формат Hugging Face safetensors и проверены на соответствие именам и формам тензоров базовой модели. Модель специализирована на среде MaximumWeightMatching, поэтому её полезность для общих диалогов и иных задач не подтверждена. Лицензия — Apache-2.0.

Это обученный агент на основе алгоритма PPO, созданный для игры Huggy в среде Unity ML-Agents. Модель предназначена для управления игровым персонажем и может запускаться в совместимой среде ML-Agents; веса доступны в формате ONNX. Карточка также описывает возможность продолжить обучение агента или просматривать его игру в браузере через соответствующую среду. Модель рассчитана на конкретную игровую задачу, а не на генерацию текста. Лицензия и детали наблюдений и действий агента в доступных данных не описаны.