II.10Разработка и эксплуатация AI/ML-систем

HyperNix.3-mini — авторская базовая языковая модель ray0rf1re, обученная с нуля и предназначенная для продолжения текста на английском языке. Модель содержит 48,7 млн параметров и обучалась на 873,7 млн токенов корпуса FineWeb-Edu. Лицензия — Apache-2.0. Это декодерный трансформер hyperNix0x-v2 с 8 слоями, размерностью 512, grouped-query attention, SwiGLU, RMSNorm и RoPE. Токенизатор byte-level BPE с собственным словарём на 32 000 токенов. Модель обучалась с контекстом 512 токенов и рассчитана на запуск на потребительском оборудовании. Модель не проходила дообучение для инструкций или диалогов и не настроена на безопасность. Она подходит для экспериментов с небольшими языковыми моделями и генерации продолжений английского текста, но не для надёжных ответов на вопросы, извлечения фактов или сложных рассуждений. Возможны фактические ошибки и смещения, присутствовавшие в веб-данных; качество при контексте свыше 512 токенов не определено.

IncorrectTraceSFT · MATH unmasked — дообученная модель Qwen2.5-7B, подготовленная в рамках исследования о том, как использовать ошибочные цепочки рассуждений при supervised fine-tuning. Это условие эксперимента math masking без маскирования; обучение продолжалось 125 шагов с полным дообучением весов. Модель предназначена для генерации текста и исследования математических рассуждений, в частности для оценки решений задач по математике. Модель построена на плотной архитектуре Qwen2 и содержит 7,1 млрд параметров. Указанное максимальное окно контекста — 131 072 токена; карточка описывает англоязычные данные и набор open-r1/OpenR1-Math-220k. Весовые файлы представлены в safetensors, для работы заявлена библиотека Transformers. Лицензия — Apache-2.0. Это исследовательский чекпойнт, а не проверяющая достоверность промежуточных шагов система: в карточке прямо сказано, что правильность финальных ответов обучающих примеров не означает, что цепочки рассуждений были проверены. Модель подходит для экспериментов с математическим SFT и сравнительной оценки, но её качество на конкретных задачах следует измерять отдельно.

Модель gpjt/jax-no-mha-bias-with-dropout разработана Giles Thomas на основе кода Sebastian Raschka. Это причинная языковая модель GPT-2-подобной архитектуры, обученная с нуля в JAX на токенизированном наборе FineWeb; веса доступны в формате safetensors и совместимы с PyTorch. Модель содержит около 163 млн параметров, 12 слоёв и 12 голов внимания, размерность эмбеддингов 768 и контекст 1024 токена. В проекции выхода Multi-Head Attention отсутствует смещение, также не используется связывание весов эмбеддингов и выходного слоя. Модель предназначена для продолжения заданного текста и экспериментов с обучением и устройством небольших языковых моделей, в том числе как основа для дальнейшей разработки. Автор предупреждает, что модель обладает ограниченными знаниями и невысокими возможностями по сравнению с современными крупными моделями, поэтому она мало подходит для сложных практических задач. Лицензия — Apache 2.0.

Модель Giles Thomas — компактная языковая модель, обученная с нуля на основе GPT-2-подобной архитектуры из книги Себастьяна Рашки «Build a Large Language Model (from Scratch)». Она предназначена для генерации продолжений текста и экспериментов с небольшой авторегрессионной языковой моделью. Обучение выполнялось на JAX, а веса представлены в формате safetensors и доступны для использования через PyTorch и Transformers. Модель содержит около 226 млн параметров, 15 слоёв и 14 голов внимания; длина контекста — 1 024 токена. Обучение проводилось на токенизированном наборе FineWeb. Автор предупреждает, что модель слабо знает факты и имеет ограниченные способности к рассуждению, поэтому она подходит прежде всего для обучения и экспериментов, а не для серьёзных прикладных задач. Лицензия — Apache 2.0.

Nichonauta выпустил вариант LFM2.5-230M-ToMoE с квантизацией весов до INT4. Это причинная языковая MoE-модель семейства LFM2 с архитектурой Lfm2MoEForCausalLM и примерно 221,2 млн параметров; она предназначена для генерации текста и диалогов. Контекст модели составляет до 128 000 токенов, основной заявленный язык — английский. Веса линейных слоёв MLP, внимания и свёрточных слоёв хранятся в INT4 с групповой упаковкой по 64 значения и нулевой точкой; маршрутизаторы, эмбеддинги и нормализации оставлены в FP32. Для запуска используется Transformers и пользовательское определение модели с trust_remote_code. По приведённым в карточке измерениям, модель сильно деградирует по perplexity: значение для INT4 на wikitext-2 составляет 888, поэтому качество генерации может быть низким. Лицензия указана как other, конкретные условия следует сверить с файлом LICENSE.

Карточка модели lodrick-the-lafted/llama-3.1-8b-instruct-ortho-v5 на Hugging Face совпадает с карточкой lodrick-the-lafted/llama-3.1-8b-instruct-ortho-v7, поэтому описание составлено по ней. lodrick-the-lafted/llama-3.1-8b-instruct-ortho-v7 — экспериментальная версия Llama 3.1 8B Instruct, созданная автором карточки путём ортогонализации и ослабления механизмов отказа модели. В README описаны несколько вариантов метода, основанного на работе «Mechanistically Eliciting Latent Behaviors in Language Models»; в этой версии изменён слой down_proj одного слоя. Модель имеет плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров, рассчитана на генерацию текста и диалоговое использование, поддерживает контекст до 131 072 токенов и распространяется в формате safetensors по лицензии WTFPL. Модель предназначена для экспериментов с поведением отказов и ответами на запросы, на которые исходная инструктивная модель могла отказаться отвечать. Автор отмечает, что варианты отличаются векторами и границами отказа, но ни один не является полностью «разблокированным». Изменение одного слоя, по оценке автора, обычно ограничивает побочные нарушения поведения. README не перечисляет языки и не даёт подробных оценок качества.

Карточка модели lodrick-the-lafted/llama-3.1-8b-instruct-ortho-v6 на Hugging Face совпадает с карточкой lodrick-the-lafted/llama-3.1-8b-instruct-ortho-v7, поэтому описание составлено по ней. lodrick-the-lafted/llama-3.1-8b-instruct-ortho-v7 — экспериментальная версия Llama 3.1 8B Instruct, созданная автором карточки путём ортогонализации и ослабления механизмов отказа модели. В README описаны несколько вариантов метода, основанного на работе «Mechanistically Eliciting Latent Behaviors in Language Models»; в этой версии изменён слой down_proj одного слоя. Модель имеет плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров, рассчитана на генерацию текста и диалоговое использование, поддерживает контекст до 131 072 токенов и распространяется в формате safetensors по лицензии WTFPL. Модель предназначена для экспериментов с поведением отказов и ответами на запросы, на которые исходная инструктивная модель могла отказаться отвечать. Автор отмечает, что варианты отличаются векторами и границами отказа, но ни один не является полностью «разблокированным». Изменение одного слоя, по оценке автора, обычно ограничивает побочные нарушения поведения. README не перечисляет языки и не даёт подробных оценок качества.

Hyukkyu выпустил текстовую модель Llama-3.1-8B-RAQUEL-MUSE-M-orig-LoRA-v1 — базовый контрольный вариант для экспериментов RAQUEL по машинному забыванию данных в наборе MUSE-News. Это дообучение Meta Llama 3.1 8B с архитектурой LlamaForCausalLM: модель обучали на 2050 парах вопросов и ответов из RAQUEL2-ICLR, используя LoRA, а в корне репозитория размещены объединённые веса BF16; отдельно доступен адаптер FP32. Модель предназначена для генерации ответов на вопросы по шаблону «Question: …\nAnswer:» и оценки методов забывания: исходная версия M_orig сохраняет ответы на обучающих вопросах и служит точкой сравнения с M_ret. Она обучалась только на парах вопросов и ответов, без документов, и не предназначена для диалога по chat template. Контекстное окно составляет 131072 токена; карточка указывает английский язык. В оценке на RAQUEL2-ICLR M_orig отвечала правильно на 99,7% исходных вопросов из forget-разбиения и на 100% вопросов retain-разбиения. Это экспериментальный исследовательский чекпойнт для воспроизведения базового результата, а не модель, в которой уже выполнено забывание. Лицензия — Llama 3.1; применяются условия и ограничения Meta, указанные в LICENSE, NOTICE и USE_POLICY.md.

Это производная от Llama 3.1 8B модель Hyukkyu для экспериментов по машинному забыванию. К базовой LoRA-модели для ответов на вопросы из набора TOFU применён метод SAUL: обновления LoRA-адаптера нацелены на забывание выбранных вопросов при сохранении ответов на удерживаемые вопросы. В репозитории доступны объединённая модель BF16 и FP32-адаптер; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для генерации ответов на вопросы и изучения компромисса между забыванием и сохранением знаний в наборах TOFU и RAQUEL. В описанной оценке точность на исходных вопросах forget-набора составила 10,8%, на перефразированных — 9,8%, а на retain-наборе — 99,1%; результаты относятся к конкретным тестовым разбиениям и протоколу оценки. Модель обучалась на англоязычных данных и использует формат вопроса «Question: … Answer:» без chat template. Для использования действуют условия лицензии Llama 3.1.

Loom Spark 1.5 Flash — экспериментальная компактная языковая модель Textile Labs, обученная с нуля, а не сжатая копия или дистилляция Loom Spark 1.5. Это плотная GPT-2-совместимая модель с 1,35 млн параметров, обученная на CPU; доступны веса Safetensors и GGUF F32. Контекст составляет 256 токенов, основной язык — английский. Модель предназначена для коротких диалоговых ответов и экспериментов с минимальными разговорными моделями и агентскими оболочками. Обучение уделяло особое внимание сохранению заданной идентичности, сдержанному тону и завершению каждого ответа: в описанных авторами испытаниях она не продолжала диалог за пользователя даже при стандартном шаблоне Ollama без дополнительной настройки. В метаданных указана задача text-generation; лицензия — MIT. При размере 1,35 млн параметров модель почти не располагает запасом для фактических знаний. Она может давать неверные или бессвязные ответы на фактические вопросы, иногда путать похожие типы вопросов и выдавать токен конца сообщения в сыром режиме. Результаты испытаний приведены авторами README и не являются гарантией поведения во всех средах.

Экспериментальный чекпойнт LoopedLM от IFM для генерации текста, выпущенный в рамках работы «Towards Looped Models Done Right. Part I: Topology, Input Injection, Recurrent-State Organization». Это вариант плотной архитектуры с внедрением входа в середине сети, основанный на архитектуре Huginn. Чекпойнт соответствует 336 млрд обработанных токенов и шагу оптимизатора 80 000; обучение продолжалось до промежуточной точки общего расписания, рассчитанного на 500 млрд токенов. Модель предназначена для исследовательской оценки рецепта обучения и архитектурных решений в работе. Веса сохранены в BF16 Safetensors в нативном формате xLLM и требуют загрузчика xLLM, CUDA GPU и FlashAttention 3; стандартный загрузчик Transformers не подходит. В репозитории есть токенизатор и манифест файлов, но нет состояния оптимизатора и загрузчика данных, поэтому продолжить обучение с этого чекпойнта без исходного тренировочного состояния нельзя. Лицензия — Apache-2.0.

MoE Huginn — экспериментальный чекпойнт IFM для генерации текста, обученный по рецепту moe_huginn и опубликованный как конечная точка на 336 млрд токенов обучения (шаг оптимизатора 80 000) для работы Towards Looped Models Done Right. Part I. Это рекуррентная архитектура Huginn с разреженной смесью экспертов. Веса BF16 хранятся в Safetensors в нативном формате xLLM, поэтому для загрузки и инференса нужны код xLLM, GPU с CUDA и FlashAttention 3; стандартный загрузчик Transformers не подходит. Чекпойнт снят в середине общего расписания обучения Part I, до его завершения на точке 500 млрд токенов, поэтому он предназначен прежде всего для оценки по протоколу статьи и исследовательских экспериментов с looped-моделями. README не приводит число параметров или длину контекста. Репозиторий распространяется по лицензии Apache-2.0. Для продолжения обучения с этого этапа потребуются исходные данные состояния оптимизатора и загрузчика данных, которых в репозитории нет.

Marigold Normals v0-1 — модель оценки карты нормалей поверхности по одному изображению, разработанная Bingxin Ke, Kevin Qu, Tianfu Wang, Nando Metzger, Shengyu Huang, Bo Li, Anton Obukhov и Konrad Schindler. Это генеративная модель на основе латентной диффузии, дообученная на Stable Diffusion 2; она предназначена для анализа изображений и оценки геометрии сцены без дополнительных входных данных о ней. Модель принимает изображение и выдаёт карту нормалей — трёхмерные единичные векторы в экранном пространстве камеры. При ансамблировании более двух предсказаний также формируется карта неопределённости. Для работы предусмотрена библиотека diffusers; рекомендованы DDIM и 10–50 шагов денойзинга. Можно обрабатывать изображения разных размеров, но для оптимального результата длинную сторону рекомендуется приводить примерно к 768 пикселям. Карточка модели помечает v0-1 как устаревшую и рекомендует перейти на Marigold Normals v1-1. Модель выпущена под лицензией Apache 2.0.

MD-Zephyria-42b — экспериментальная плотная языковая модель семейства Mistral, созданная на основе unsloth/Mistral-Small-Instruct-2409. В конфигурации 55 слоёв: начиная с 22-го слоя, часть слоёв продублирована; модель содержит 41,9 млрд параметров и рассчитана на контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и диалогов общего назначения. Карточка описывает её как компромисс между ранним извлечением признаков и последующей обработкой, однако отмечает, что слои down_proj и o_proj обнулены и требуют восстановления. Поэтому качество и надёжность ответов могут быть низкими до «лечения» модели. Лицензия в предоставленных данных не указана.

MeChat — китайскоязычный чат-бот для поддержки в вопросах психического здоровья, созданный авторами проекта на основе ChatGLM2-6B и дообученный методом LoRA на диалогах поддержки. Модель предназначена для многоходового общения, имитирующего беседу человека, ищущего помощь, со сторонником или консультантом. Для расширения обучающих данных авторы разработали SMILE: преобразовали однократные диалоги PsyQA в многоходовые с помощью ChatGPT и автоматической фильтрации. В README заявлено, что набор данных содержит около 55 тысяч диалогов; также описан процесс преобразования, дающий 310 087 обучающих примеров. Модель построена на архитектуре ChatGLM, содержит 7,8 млрд параметров и имеет контекст до 32 768 токенов. Она принимает текст и генерирует текст на китайском языке; репозиторий содержит веса PyTorch. Лицензия — MIT. Авторы предупреждают, что бот не является медицинским специалистом, не заменяет диагностику и лечение, а его ответы могут быть неточными или неподходящими; отдельно отмечены необходимость улучшать безопасность при кризисных ситуациях, работе с чувствительной информацией и предотвращении ошибочных советов.

mini-beatrix-1 — компактная авторская языковая модель AbstractEyes из семейства AlephLM, предназначенная для генерации текста и экспериментов с обучением языковых моделей. Это плотная причинная архитектура MiniBeatrixForCausalLM примерно на 112,5 млн параметров: 16 слоёв, обработка байтов UTF-8 напрямую без токенизатора и маршрутизация по знаковым геометрическим адресам. Модель обучалась на смесях WikiText, FineWeb-Edu и диалоговых данных; на контрольной выборке FineWeb указано качество 1,045 бит на байт. Модель может продолжать текст и вести простые диалоги; в обучающей смеси были диалоги и данные для формирования идентичности. Авторы характеризуют её как раннюю и небольшую: знания ограничены, а ответы могут быть уверенно неверными. В Transformers для генерации используется trust_remote_code; приведённая обёртка не поддерживает KV-кэш и пересчитывает префикс на каждом шаге. Лицензия CC BY-NC-SA 4.0 допускает использование с указанием авторства и на условиях распространения производных материалов, но запрещает коммерческое использование.

Mini-K3-1H-decay-g4-v2_B — текстовая исследовательская модель семейства Mini-K3, разработанная в рамках сравнения 20 вариантов архитектуры. Это чекпойнт предварительного обучения без последующего дообучения на инструкциях; модель предназначена для генерации продолжения текста и исследования архитектурных решений, а не для диалогового применения как готовый ассистент. Архитектура — декодер MoE с 13 слоями: 9 слоями KDA и 4 слоями Gated MLA, остатками Attention Residuals и 64 маршрутизируемыми экспертами. README указывает около 1,015 млрд логических параметров и 351,8 млн активируемых на токен; метаданные Hugging Face сообщают 385,9 млн параметров. Нативный контекст — 131 072 токена, формат весов — safetensors, тип параметров чекпойнта — BF16 с отдельными управляющими состояниями FP32. Чекпойнт обучен на 16 млрд целевых токенов с длиной последовательности 8 192. README называет его промежуточным исследовательским чекпойнтом и отмечает, что оценка на прикладных задачах не проводилась. Лицензия в предоставленных данных не указана; тексты исходных датасетов в репозитории не распространяются. Модель может выдавать неточные, предвзятые, небезопасные или повторяющиеся продолжения и не предназначена для следования инструкциям.

zhoumiaosen/minimind-64m-pretrain — компактная плотная языковая модель MiniMind, самостоятельно обученная с нуля за одну эпоху на китайском наборе данных с одной потребительской видеокартой. В репозитории она представлена в совместимой с Transformers архитектуре Qwen3ForCausalLM; предварительно обученные веса Qwen3 не использовались. Модель содержит 63,9 млн параметров, имеет 8 слоёв и размер скрытого представления 768. Для работы используется библиотека Transformers, веса сохранены в формате safetensors, нативное окно контекста — 32 768 токенов. Это базовый чекпойнт для продолжения текста, изучения предобучения небольших моделей и последующего дообучения под надзором. Модель не проходила настройку инструкциями, оптимизацию предпочтений или выравнивание, поэтому не предназначена для надёжного диалога и ответов на вопросы. В двух приведённых проверках продолжения оказались пустым и повторяющим запятые; оценок на отложенной выборке и стандартизированных бенчмарках нет. Возможны бессвязные, повторяющиеся, фактически неверные, предвзятые или неподходящие ответы; качество на длинном контексте и мультиязычные возможности не проверены. Модель выпущена под лицензией Apache-2.0.

ModernBERT-Small — англоязычная маскированная языковая модель на 31,8 млн параметров, разработанная автором репозитория для экспериментов в рамках BabyLM Challenge 2026. Это плотный трансформер ModernBERT с 16 слоями, скрытым размером 384, шестью головами внимания, RoPE, GeGLU и чередованием локального и глобального внимания. Модель обучена с нуля на корпусе BabyLM 2026 Strict-Small объёмом около 10 млн слов и предназначена для предсказания замаскированных токенов и оценки языковых представлений в условиях ограниченного объёма данных и вычислений. Вариант исследует композиционные байтовые n-граммные эмбеддинги, дополненные частотными остаточными векторами для токенов и регуляризацией, центрирующей пространство эмбеддингов с учётом частоты слов. В README описана оценка на наборах BabyLM, включая BLiMP, EWoK и GLUE/SuperGLUE. Модель доступна в формате safetensors и распространяется по лицензии MIT. Она ориентирована на английский язык и задачу заполнения пропусков; результаты эксперимента не гарантируют качество универсальной языковой модели или пригодность для диалоговой генерации.

Moonfrost-777M-Instruct-v1 — англоязычная модель для генерации текста и следования инструкциям, разработанная автором репозитория whoashish115. Это supervised fine-tune базовой модели whoashish115/Moonfrost-777M: архитектура и токенизатор сохранены, изменены веса. README указывает 777 148 032 параметра всего, из них 161 036 224 активны на токен; модель имеет 14 слоёв, включая плотный слой и 13 слоёв Mixture-of-Experts. Метаданные описывают архитектуру как dense и указывают 209,2 млн параметров, поэтому сведения о размере и типе архитектуры расходятся между источниками. Модель предназначена прежде всего как отправная точка для дальнейшей настройки поведения и персоны, а не для непосредственного использования в диалоге с пользователями. Дообучение на инструкциях длилось 0,42 эпохи; модель иногда продолжает реплику от имени другого участника и ненадёжно завершает ответы. Она принимает текст, рассчитана на английский язык и имеет контекст до 1 024 токенов. По README, модель уверенно выдумывает факты, слаба в арифметике и многошаговых рассуждениях, не имеет настройки безопасности и фильтрации контента. Лицензия — Apache-2.0.

Это обученная модель семейства BabyLM Strict-Small, выпущенная miguelcsx как один из пяти контрольных запусков с разными рецептами обучения. Она предназначена для экспериментов с малыми языковыми моделями и обработки английского текста через предсказание замаскированных токенов. Модель использует пользовательский masked encoder в стиле LTG-BERT с относительным вниманием; в карточке указано 12 слоёв и размер скрытого представления 384, а метаданные сообщают 31,1 млн параметров. Основная цель обучения — masked language modeling, а в каталоге также отмечена возможность генерации текста. Обучение использовало корпус BabyLM 2026 с BPE-токенизатором и дополнительный компонент data2vec. Это исследовательский контрольный чекпойнт, а не универсальный диалоговый помощник. Один запуск не позволяет оценить разброс между запусками; описанная операция задаёт способ подачи корпуса и сама по себе не подтверждает выводы о детском усвоении языка или причинные эффекты. Лицензия указана как other, поэтому условия использования следует сверить с файлами репозитория.

my-symptom-checker-biobert — дообученная Iloriayomide модель классификации текста на основе emilyalsentzer/Bio_ClinicalBERT. Она предназначена для классификации текстовых описаний симптомов; карточка называет её средством проверки симптомов, но не сообщает классы, клинические сценарии или правила интерпретации результатов. Модель построена на архитектуре BERT, содержит 135,5 млн параметров и принимает последовательности длиной до 512 токенов. Базовая Bio_ClinicalBERT обучена на клинических записях MIMIC-III и рассчитана на англоязычный медицинский текст. Для этой версии указана лицензия MIT. В README приведено значение loss 0,1376 на оценочном наборе, однако состав данных и методика оценки не описаны, поэтому по этому числу нельзя судить о клинической точности или пригодности для диагностики.

cgato/Nemo-12b-Humanize-KTO-Experimental-Latest — экспериментальная ветка cgato с последними результатами KTO-обучения модели на основе Mistral. В репозитории публикуются случайные тестовые запуски; автор предупреждает, что загруженные версии могут работать некорректно. Модель размером 12,1 млрд параметров использует плотную архитектуру MistralForCausalLM, формат safetensors и контекст до 131 072 токенов. Карточка указывает формат диалогов ChatML и задачу генерации текста. Модель предназначена для экспериментов с диалоговой генерацией и оценкой результатов KTO-обучения, а не для стабильного использования. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

OASIS — исследовательский чекпойнт на базе Meta Llama 3.2 1B, разработанный в рамках работы «Attention Sinks and Outliers in Attention Residuals». Это плотная авторегрессионная языковая модель для генерации текста с модифицированной архитектурой: Softmax1 с нулевым слотом сочетается с AttentionResidual и передачей сигнала между слоями. Число параметров — около 1,2 млрд; заявленный контекст — до 131 072 токенов. Базовая модель многоязычная, однако карточка не перечисляет языки отдельно. Чекпойнт предназначен для изучения маршрутизации между слоями и влияния attention sinks и выбросов активаций, а также для сравнения вариантов OASIS с абляциями и базовыми архитектурами. В README упомянуты оценки perplexity, статистики активаций и сравнения после квантования. Для загрузки нужны веса и код моделирования OASIS: стандартный AutoModelForCausalLM отбрасывает дополнительные параметры и не воспроизводит этот вариант архитектуры. Модель основана на Llama 3.2 1B и распространяется по лицензии Llama 3.2.

theworker02 разработал Open Reason medium — компактную авторегрессионную языковую модель в стиле GPT-2, обученную с нуля на наборе данных theworker02/open-reason. Модель содержит около 13,9 млн параметров; её архитектура включает 6 слоёв, размерность скрытого состояния 384, 6 голов внимания и словарь из 8192 токенов. Контекст составляет 192 токена. Модель предназначена для генерации текста и экспериментов с небольшими причинно-языковыми моделями, в том числе на CPU. В карточке указан набор данных обучения, но не описаны конкретные сценарии рассуждений или качество на задачах. Доступны веса в формате Safetensors и загрузка через Transformers. Лицензия — Apache-2.0.

Sylvest/openvla-7b-oft-finetuned-libero-plus-mixdata — модель OpenVLA-OFT на базе OpenVLA, дообученная на смеси данных LIBERO-Plus. Это плотная vision-language-action модель с архитектурой OpenVLAForActionPrediction, предназначенная для управления роботом-манипулятором по изображению сцены и текстовой инструкции: на выходе она предсказывает действия робота. Репозиторий содержит веса в формате safetensors и распространяется по лицензии MIT. Модель можно применять для выполнения роботизированных задач манипуляции и проверки устойчивости управления при изменении расположения объектов, ракурса камеры, начального состояния робота, инструкций, освещения, фона и сенсорного шума. В README сообщается о более высокой устойчивости OpenVLA-OFT по сравнению с OpenVLA в тестах LIBERO-Plus, но также отмечается чувствительность моделей VLA к некоторым изменениям и слабое следование языковым инструкциям. Данных о размере параметров и длине контекста в предоставленной карточке нет.

Ouro-hybrid-1.4B — экспериментальная языковая модель chili-lab, полученная дистилляцией ByteDance/Ouro-1.4B. Она предназначена для генерации текста и исследований методов дистилляции, гибридных архитектур с вниманием и рекуррентными вычислениями, а также моделей с длинным контекстом. Модель построена на студенческой архитектуре causal LM StudentForCausalLM (`gdn_v4`): 24 слоя, скрытый размер 2048, 16 голов внимания и около 1,3 млрд параметров по метаданным. При дистилляции использовались последовательности до 32 768 токенов; максимальная длина контекста в конфигурации — 65 536 токенов. Веса опубликованы в формате safetensors, библиотека — Transformers. Основной язык в карточке не обозначен. Чекпойнт подходит для экспериментов и сравнительной оценки с моделью-учителем, но его качество на длинном контексте нужно проверять отдельно. Модель не проходила настройку безопасности для развёртывания, может наследовать смещения и небезопасное поведение обучающих данных. Для загрузки может потребоваться исследовательский код, реализующий пользовательскую архитектуру. Лицензия указана как other; подробные условия следует уточнить в карточке модели.

PebbleGPT-320M — плотная авторегрессионная языковая модель на 320,9 млн параметров, разработанная strectelite и обученная с нуля продолжать текст. Это базовая модель, а не чат-ассистент: она не предназначена для следования инструкциям. Модель обучена на 10 млрд токенов из FineWeb-Edu, DCLM-Edu и Python-Edu. Архитектура включает 24 слоя, скрытый размер 1024, SwiGLU, RMSNorm, RoPE и Grouped Query Attention с 16 головами запросов и 4 KV-головами. Контекст составляет 2048 токенов; используется токенизатор SmolLM2 с размером словаря 49 152. Модель генерирует текст на английском языке и может использоваться для экспериментов с продолжением текста и оценки небольших языковых моделей. Лицензия — Apache-2.0. В карточке приведены результаты HellaSwag, PIQA и ARC-easy. Они указывают на ограниченные возможности по сравнению с современными универсальными моделями; короткий контекст и отсутствие обучения следованию инструкциям ограничивают применение в диалогах и сложных задачах.

PetitGPT alpha075 — языковая модель на 124,6 млн параметров, созданная Yang Qi с нуля и опубликованная в исследовательском релизе research-v1. Модель обучалась на одном GPU NVIDIA RTX 4090 примерно на 13 млрд токенов; в опубликованной версии веса получены интерполяцией двух чекпойнтов после дообучения на инструкциях. Архитектура использует GQA с 30 слоями, шириной скрытого состояния 576, 9 головами запросов и 3 головами ключей и значений. Модель предназначена для экспериментов с обучением небольших языковых моделей, постобучением и оценкой, а также для генерации текста и ответов на простые инструкции. В карточке приведены результаты на ARC, PIQA, HellaSwag и IFEval: качество неоднородно, с преимуществами над сравниваемыми моделями на ARC и отставанием на PIQA и HellaSwag. Поддерживается английский язык. Выпущены веса Safetensors, собственный токенизатор и реализация вывода на PyTorch; CLI требует CUDA GPU, а загрузка через Transformers AutoModel, CPU, GGUF и ONNX не реализованы или не проверены. Лицензия — Apache-2.0.

Miical/pi05-libero — преобразованный в формат PyTorch Diffusers чекпойнт политики PI0.5 для робототехники, созданный из контрольной точки LIBERO в JAX из официального репозитория OpenPI компании Physical Intelligence. Веса не дообучались автором репозитория; конвертация выполнена с использованием реализации из open-gigaai/giga-models, а политика сохранена в структуре PI0Policy. Токенизатор включён в репозиторий вместе с политикой. Модель предназначена для выполнения роботизированных задач в среде LIBERO. Для использования с verl-vla доступны статистики нормализации состояний и действий в norm_stats.json; их следует загрузить вместе с чекпойнтом и передать через адаптер LIBERO. Репозиторий распространяется по лицензии other; конкретные условия следует проверять в лицензии исходного проекта и репозитория. Карточка не сообщает размер модели, контекст или список поддерживаемых языков.