II.2Создание и понимание программного кода

Lanni-ni/dynamic_alibi_2_4_256_inverse_babylm_100m_seed43_epoch3 — каузальная языковая модель автора Lanni-ni для генерации текста. Карточка Hugging Face автоматически создана и не описывает отдельные прикладные сценарии; название и архитектура указывают на экспериментальный чекпойнт Dynamic ALiBi, обученный на варианте BabyLM 100M. В метаданных указаны архитектура DynamicAlibiForCausalLM, библиотека Transformers и 14,7 млн параметров. Модель принимает текст и генерирует текст. Карточка не подтверждает конкретные языки, длину контекста, лицензию или результаты оценки качества; поэтому её пригодность для конкретных пользовательских задач не установлена. По серии чекпойнтов автора это исследовательский эксперимент с разными конфигурациями и эпохами обучения.

Lanni-ni/dynamic_alibi_2_4_256_inverse_babylm_10m_seed44_epoch9 — небольшая модель генерации текста, опубликованная пользователем Lanni-ni на Hugging Face и предназначенная для запуска через библиотеку Transformers. По идентификатору модели она связана с экспериментом BabyLM объёмом около 10M параметров и использует вариант механизма позиционного кодирования Dynamic ALiBi; метаданные указывают размер модели 14,7 млн параметров. Модель может применяться для авторегрессионного продолжения текста, простых экспериментов с языковым моделированием и изучения влияния позиционных представлений в компактных Transformer-моделях. Поддерживаемая модальность — текст; pipeline Hugging Face — text-generation. Язык, длина контекста, точная архитектура, разработчик, обучающие данные, результаты оценки и лицензия в доступных материалах не описаны. Из-за небольшого размера модель, вероятно, подходит прежде всего для исследовательских и учебных экспериментов, локального тестирования и ресурсоограниченных сценариев, а не для сложной генерации или production-применений. README не содержит результатов тестирования, сведений о рисках и рекомендаций по использованию.

Lanni-ni/dynamic_forgetting_4_6_384_babylm_100m_seed44_epoch4 — небольшая языковая модель для генерации текста, размещённая на Hugging Face. README создан автоматически и не содержит сведений о разработчике, точной архитектуре, обучающих данных или лицензии. Модель рассчитана на использование через библиотеку Transformers и имеет 27,6 млн параметров. Основной сценарий — авторегрессионная генерация текста и эксперименты с моделями семейства BabyLM и методом dynamic_forgetting, на что указывает идентификатор модели и набор тегов. Её можно применять для исследовательских прототипов, проверки идей обучения языковых моделей и генерации коротких текстовых продолжений. Ключевыми преимуществами являются небольшой размер и совместимость с Transformers, что упрощает локальный запуск и эксперименты при ограниченных вычислительных ресурсах. README не содержит результатов оценки, описания языков, контекста, данных обучения, рекомендаций по применению и условий лицензирования, поэтому модель не следует использовать в критически важных или требующих подтверждённой точности системах.

LightWeight GAN-модель для безусловной генерации изображений, созданная Алексеем Коршуком. Она предназначена для создания изображений в стиле коллекции EtherBears; для обучения использован датасет huggingnft/etherbears. Модель представлена в формате PyTorch и распространяется по лицензии MIT. Подробности об использовании и ограничениях автор направляет смотреть в проектный репозиторий.

Saishf/Fett-uccine-11B-Experiment — экспериментальная языковая модель для генерации текста и диалогов, созданная с помощью mergekit на основе Epiculous/Fett-uccine-7B. При объединении применён метод passthrough: в модель включены слои 0–24 и 8–32 исходной модели; веса сохранены в float16. Архитектура — плотная MistralForCausalLM, размер — 10,6 млрд параметров, контекст — до 32 768 токенов. Модель принимает текст и генерирует текст. Автор предупреждает, что результаты хуже исходной модели и не рекомендует её для практического использования, кроме экспериментов. Репозиторий распространяется по лицензии AGPL-3.0.

Flower DDPM — компактная безусловная диффузионная модель, разработанная автором репозитория и обученная с нуля на изображениях цветов из Ambrosiussen/flower-dataset. Она предназначена для генерации небольших изображений, учебных экспериментов с DDPM и визуализации процесса пошагового удаления шума. В основе модели — UNet2DModel из Hugging Face Diffusers с блоками свёрток, остаточными связями и пространственным self-attention на глубоких уровнях. При генерации модель начинает со случайного шума и постепенно формирует RGB-изображение размером 32×32 пикселя; текстовый энкодер и управление промптами отсутствуют. Процесс обучения использует DDPM с 1 000 шагами и расписанием шума squaredcos_cap_v2. Модель узкоспециализирована на цветочных изображениях и не рассчитана на высокое разрешение, фотореалистичную генерацию общего назначения или управление содержимым по запросу. Низкое разрешение ограничивает детализацию, а качество обобщения количественно не оценивалось. Лицензия — MIT.

FocalCodec 25 Hz — модель-кодек речи, опубликованная lucadellalib. Она сжимает речь с низким битрейтом, используя одно кодовое пространство и сети на основе focal modulation. В репозитории представлен чекпойнт с частотой кодирования 25 Гц, обученный на LibriTTS 960; заявлена поддержка аудио с частотой дискретизации 16 и 24 кГц. Модель предназначена для низкобитрейтного кодирования и восстановления речи, включая сценарии потоковой передачи, связанные с проектом FocalCodec-Stream. Это дообучение Microsoft WavLM Large на данных LibriTTS. Кодек принимает и выдаёт аудио; карточка не уточняет точные характеристики качества и задержки этого чекпойнта. Лицензия — Apache-2.0.

Foundation-sec-8b-red-team — языковая модель Ironcybersec для диалоговой помощи в авторизованном тестировании безопасности и red team-оценках. Это дообученная версия Foundation-Sec-8B-Instruct от fdtn-ai: причинная плотная Llama-модель класса LlamaForCausalLM, в карточке указано 7,5 млрд параметров. Модель принимает текст и генерирует текст; README заявляет поддержку английского языка и контекст до 131 072 токенов. Модель дообучена методом LoRA на 10 027 примерах по разведке и перечислению объектов Active Directory, повышению привилегий, закреплению и постэксплуатации. Весовые коэффициенты LoRA объединены для самостоятельного развёртывания; метаданные указывают формат safetensors, а README также описывает использование вариантов GGUF через LM Studio и llama.cpp. Лицензия обозначена как other и унаследованная от базовой модели, поэтому условия следует сверить с лицензией fdtn-ai/Foundation-Sec-8B-Instruct. Модель предназначена для специалистов, проводящих разрешённые проверки, и для обучения методикам red team. Результаты требуют экспертной проверки и применения только в рамках полученного разрешения; показатели обучения и perplexity из README сами по себе не подтверждают качество или безопасность практических рекомендаций.

Набор из четырёх моделей ONNX для разделения музыкального стереомикса на отдельные дорожки: вокал, ударные, бас и прочие инструменты. Модели экспортированы из Open-Unmix UMX-L и предназначены для локального запуска в DJNed на Android через ONNX Runtime. Каждая модель обрабатывает входную спектрограмму амплитуд размером (batch, 2, 2049, число кадров) и выдаёт спектрограмму выделенного источника той же формы. Для работы на устройстве приложение должно выполнять STFT и ISTFT; конфигурация указывает БПФ 4096, шаг 1024 и частоту дискретизации 44,1 кГц. Архитектура включает линейные слои, BatchNorm и трёхслойную LSTM. Файлы моделей имеют формат ONNX и размер около 108 МБ каждый. Модели рассчитаны на разделение музыкальных источников на устройстве, а README сообщает о проверке совпадения результатов с PyTorch с максимальной абсолютной разницей менее 0,00001. Указана лицензия MIT. Самостоятельно модели принимают и возвращают спектрограммы, поэтому преобразование аудиосигнала в спектрограмму и обратно должно выполнять приложение.

Aratako/gemma-2-2b-axolotl-simpo-v1.0-merged — экспериментальная диалоговая модель генерации текста на архитектуре Gemma 2. Она создана как демонстрационный результат статьи о работе с Axolotl и дообучена с использованием TRL на базе Aratako/gemma-2-2b-axolotl-sft-v1.0-merged. В карточке указано 2,7 млрд параметров и контекст до 8192 токенов. Модель предназначена для демонстрации и экспериментов с генерацией ответов в диалоге. Автор предупреждает, что практическая ценность модели невелика. Репозиторий содержит веса PyTorch и предназначен для использования с Transformers. Данные о лицензии в предоставленных источниках отсутствуют.

tiny-random/glm-ocr — экспериментальная миниатюрная модель, созданная на основе конфигурации zai-org/GLM-OCR и предназначенная для отладки совместимости архитектуры и кода. Модель реализует мультимодальное преобразование изображения и текста в текст и подключается через библиотеку Transformers; размер файла весов составляет около 3,8 МБ. Архитектура включает зрительный модуль и языковую модель для условной генерации, но параметры модели случайно инициализированы. Поэтому она не предназначена для качественного OCR, описания изображений или прикладного инференса и может использоваться главным образом для проверки загрузки, процессора, генерации и интеграции GLM-OCR. Лицензия в предоставленных данных не указана.

tiny-random/granite-moe-hybrid — экспериментальная модель генерации текста, разработанная на основе конфигурации IBM Granite 4.0 H Small. Модель имеет случайную инициализацию и предназначена прежде всего для отладки, тестирования архитектуры и проверки совместимости библиотек, а не для решения прикладных задач. Модель поддерживает text-generation и реализована для библиотеки Transformers. Архитектура сочетает Mamba- и attention-слои с блочным разреженным Mixture-of-Experts; в конфигурации два скрытых слоя, размер скрытого представления 32 и около 3,2 млн параметров. Максимальная длина контекста составляет 131 072 токена. Модель принимает и генерирует текст. Из-за случайной инициализации модель не обладает практически полезными знаниями и не предназначена для качественной генерации, диалогов или построения продуктивных приложений. Лицензия в предоставленных данных не указана.

Модель награды для оценки ответов ассистента по полезности, разработанная на базе openlm-research/open_llama_3b с использованием LMFlow. Это плотная Llama-модель с 3,3 млрд параметров для классификации последовательностей; она присваивает оценку тексту диалога и предназначена для сравнения вариантов ответа и отбора предпочтительных ответов в сценариях RLHF и RAFT. Модель обучена на полезной части набора HH-RLHF: использовались пары выбранных и отклонённых ответов, а перед обучением выполнялась настройка на выбранных ответах. В README сообщается о точности оценки 75,48% на тестовой части HH-RLHF и о проверках обобщения на наборах Open Assistant и chatbot. Контекст модели — 2048 токенов. Автор рекомендует вместо неё использовать weqweasdas/RM-Gemma-2B. Модель принимает текст и выдаёт классификационную оценку, а не готовый ответ пользователю. Основные ограничения — обучение на полезной части HH-RLHF, возможная утечка данных в этом наборе и предупреждение автора о переобучении при обучении дольше одного прохода. Лицензия в предоставленных данных не указана.

Home Llama 3.2 3B — специализированная дообученная версия Llama 3.2 3B от Meta, разработанная acon96. Модель создана для интеграции с Home Assistant и управления устройствами в доме с помощью естественного языка, а также для базовых задач вопросов и ответов и простых логических рассуждений. Модель основана на Llama 3.2 3B Instruct и дообучена на специально подготовленном наборе данных, предназначенном для обучения вызову функций. Она работает в текстовом режиме, поддерживает формат запросов Llama 3 и может формировать ответ пользователю вместе с инструкцией вызова сервисов Home Assistant. Явно заявлена поддержка английского, немецкого, испанского и французского языков; базовая модель также поддерживает итальянский, португальский, хинди и тайский. Размер модели — около 3 миллиардов параметров. Сведения о размере контекстного окна в README не указаны. Ключевое преимущество модели — ориентация на локальное управление умным домом и возможность запуска в средах с ограниченными ресурсами, включая Raspberry Pi, благодаря квантизации с использованием llama.cpp. Ограничения включают узкую специализацию на сценариях Home Assistant, базовый уровень общих вопросно-ответных и логических возможностей, а также отсутствие заявленных сведений о мультимодальности и расширенной поддержке языков после дообучения. Модель распространяется на условиях, связанных с лицензией Llama 3.2 Community License Agreement; в карточке также указана лицензия типа other и ссылка на файл лицензии.

Это конверсия модели HTDemucs из adefossez/demucs в формат Core ML, выполненная Daisuke Majima для запуска на iPhone, iPad и Mac. Модель разделяет музыкальную стереодорожку на четыре аудиодорожки: ударные, бас, вокал и прочие звуки. Пакет работает с аудио 44,1 кГц в стерео и использует точность FP32. Модель рассчитана на локальный вывод в приложениях Apple; пакет не хранит состояние, поэтому обработку последовательности аудиоблоков и буферизацию должна выполнять Swift-программа. Конверсия проверена с вычислительным устройством cpuOnly. Модель распространяется по лицензии MIT. README предупреждает, что запуск на другом вычислительном устройстве может привести к изменению численных результатов или сбою.

Это обученный агент Proximal Policy Optimization (PPO), созданный для игры Huggy в среде Unity ML-Agents. Модель принимает наблюдения из игрового окружения и выбирает действия, чтобы управлять игровым агентом; её можно запускать в поддерживаемой среде ML-Agents или просматривать игру в браузере через совместимый просмотрщик агентов. Репозиторий содержит модель в формате ONNX. README также описывает возможность продолжить обучение агента с помощью ML-Agents. Сведения о лицензии, размере модели и конкретных характеристиках обучения в предоставленных данных отсутствуют.

Huggy2 — обученная PPO-модель агента для игры Huggy, опубликованная пользователем jeb746966. Она создана с помощью Unity ML-Agents и предназначена для управления игровым агентом в этой среде; репозиторий содержит модель в формате ONNX, которую можно использовать с ML-Agents для запуска агента или продолжения обучения. Карточка не сообщает размер модели, используемые наблюдения и действия или условия лицензии.

qmddn/insert-mouse-battery-videomae-reward-v1 — бинарная reward-модель для определения завершённого состояния задачи установки батарейки в компьютерную мышь. Разработчик дообучил VideoMAE на базе MCG-NJU/videomae-base-finetuned-kinetics; модель содержит 113,2 млн параметров и распространяется в формате safetensors для Transformers. На вход подаётся клип примерно за одну секунду: восемь RGB-кадров с тремя видами камеры, объединёнными вертикально в порядке top_head, hand_left, hand_right. Модель выдаёт оценки классов not_success и success; вероятность успеха вычисляется через softmax. Проверочный порог выбран на уровне 0,92. Обучающие примеры охватывают успешные завершения и неуспешные траектории, включая сложные случаи до завершения задачи. На валидации указаны точность 0,9824, precision 0,9505 и recall 1,0000 при пороге 0,5. В проверке на отложенных траекториях устойчивый ложный сигнал возник в трёх из восьми неуспешных эпизодов, поэтому оценку следует проверять для конкретной политики и конфигурации камер перед использованием в оптимизации RL. Модель основана на видеоданных, язык не применим; сведения о лицензии не приведены.

Карточка модели burakkizil/LAMP-edit на Hugging Face совпадает с карточкой burakkizil/LAMP-Qwen-2.5-VL, поэтому описание составлено по ней. LAMP (Language-Assisted Motion Planning) — система планирования движения, разработанная М. Бураком Кизилом, Энесом Санлы, Нилой Митрой, Эркутом Эрдемом, Айкутом Эрдемом и Дуйгу Джейлан. Её компонент планирования основан на дообученной Qwen2.5-VL-7B-Instruct с 7,1 млрд параметров и контекстом 128 000 токенов; веса представлены в формате Safetensors. Лицензия репозитория — CC. Система преобразует текстовые описания поведения объектов и камеры в структурированные программы движения на предметно-ориентированном языке LAMP, а затем — в детерминированные 3D-траектории. Эти траектории используются для управления генерацией кинематографических видеокадров в конвейере VACE. Для работы полного конвейера требуются также компоненты генерации видео VACE; одна модель планирования движения не выполняет весь процесс синтеза видео самостоятельно. LAMP предназначена для задания движений камеры и объектов на естественном языке и создания управляемых кинематографических сцен. В README доступна интерактивная демонстрация Gradio; для пользователей Wan2.1 с английскими запросами отмечена рекомендация включить расширение промпта для достижения полной производительности.

LightGlue — модель сопоставления локальных признаков изображений, разработанная лабораторией Computer Vision and Geometry Lab ETH Zurich; карточку для Transformers подготовил участник stevenbucaille. Она принимает признаки ключевых точек двух изображений и предсказывает соответствия, одновременно отбрасывая точки без надёжной пары. В сочетании с SuperPoint модель используется для сопоставления изображений и оценки относительной позы камеры. LightGlue построена на архитектуре LightGlue и адаптирует вычисления к сложности пары: может завершать обработку на ранних слоях и раньше исключать неподходящие точки. Это делает её подходящей для задач, чувствительных к задержке, включая оценку гомографии, 3D-реконструкцию, SLAM и Structure-from-Motion. В метаданных указано 5,9 млн параметров; README приводит другую оценку — 13,7 млн. Репозиторий содержит веса Safetensors и указывает библиотеку Transformers. README сообщает, что для детектора SuperPoint действует лицензия только для академического или некоммерческого исследовательского использования; метаданные обозначают лицензию как other. Перед использованием следует проверить условия лицензирования обеих моделей. LightGlue предназначена для сопоставления признаков, а не для классификации изображений или обнаружения объектов.

Xenova/llama2.c-stories15M — компактная авторегрессионная языковая модель семейства Llama, представленная Xenova. Она предназначена для генерации текста и может использоваться для экспериментов с небольшими языковыми моделями и запуска генерации через Transformers.js. Модель содержит 15,2 млн параметров и имеет контекст длиной 256 токенов. В репозитории представлены варианты в форматах ONNX, PyTorch и Safetensors. Карточка показывает пример использования Transformers.js. Небольшой размер и короткий контекст ограничивают сложность и длину связной генерации; сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.

Kijai/llava-llama-3-8b-text-encoder-tokenizer — это текстовый энкодер и токенизатор на архитектуре Llama, опубликованный пользователем Kijai на Hugging Face. Репозиторий содержит веса LlamaForCausalLM в формате Safetensors и используется как компонент текстового кодирования в рабочих процессах HunyuanVideo и связанных интеграциях ComfyUI. Модель содержит около 7,5 млрд параметров, работает с 16-битными весами и имеет контекст до 8192 токенов. Она предназначена для преобразования текстовых промптов в представления, используемые видеодиффузионными пайплайнами, а не для самостоятельной обработки изображений или видео. Основные ограничения связаны с узкой ролью компонента: модель требует совместимого пайплайна и не является готовой мультимодальной моделью LLaVA общего назначения. В карточке модели лицензия не указана.

IFM/LoopedLM-P2-huginn-l-learned-entropy0p01 — исследовательский чекпойнт Looped Transformer из работы «Towards Looped Models Done Right. Part II: Rethinking at Fixed Points», вариант L с обучаемым λ_H=0,01. Модель содержит 2,488 млрд параметров: один блок prelude, два рекуррентных блока и один блок coda; ширина — 6144, 96 голов внимания, включая 24 KV-головы, и SwiGLU FFN шириной 17408. Ввод внедряется диагональным способом. Модель предназначена для генерации текста и оценки в экспериментах по зацикленным языковым моделям и фиксированным точкам. Веса представлены в BF16 Safetensors с конфигурацией xLLM и манифестом артефакта; для загрузки необходим код xLLM, стандартный загрузчик Transformers её не поддерживает. Репозиторий распространяется по лицензии Apache-2.0. Данные карточки не уточняют поддерживаемые естественные языки и длину контекста.

huginn-m-orthoinj — исследовательский чекпойнт из таблицы 3 работы «Towards Looped Models Done Right. Part II: Rethinking at Fixed Points», опубликованный IFM. Это языковая модель с зацикленным Transformer: один начальный блок, два рекуррентных блока и один завершающий блок; ширина 3072, 48 голов внимания, включая 12 KV-голов, и FFN SwiGLU размером 8704. Модель содержит около 819 млн параметров. Вариант OrthoInj использует механизм внедрения входа, при котором затухающая рекуррентная составляющая состояния теряет компоненту вдоль внедряемого обновления. Чекпойнт предназначен для генерации текста и оценки моделей с фиксированными точками. Веса сохранены в BF16 Safetensors в нативном формате xLLM; для загрузки требуется код xLLM, стандартный AutoModel.from_pretrained из Transformers не подходит. Модель распространяется по лицензии Apache-2.0.

Карточка модели AndrewThompson1233/maba-1.5-103m на Hugging Face совпадает с карточкой AndrewThompson1233/maba-v1.5-101m-test, поэтому описание составлено по ней. Maba v1.5 — экспериментальная языковая модель с примерно 96,5 млн параметров от Andrew Thompson. Она использует гибридную архитектуру: рекуррентные слои DGDA сочетаются с разреженным динамическим вниманием MABA-SA, включающим MLA и выбор Top-32; позиционное кодирование NoPE не добавляет параметров. Модель обучена с нуля на 3 044 диалоговых примерах и предназначена для генерации текста и проверки работоспособности этой архитектуры. В карточке приведены экспериментальные сравнения качества, извлечения информации из контекста до 4 096 токенов и размера KV-кэша. README предупреждает, что реализация Maba v1.5 устарела и не предназначена для общего или производственного использования; заявленная поддержка контекста в 1 000 000 токенов относится к более новой архитектуре Maba v2, а не к этой модели. Репозиторий распространяется по лицензии MIT.

MBG 1.0 (Model Bahasa Garuda) — проект языковой модели от deepRcurs Labs и автора Mzed Imamkh. Репозиторий содержит контрольные веса прототипа: валидированные версии размером около 0,17 млн и 17 млн параметров; канонический набор весов в safetensors относится к версии на 17 млн параметров. Полная целевая архитектура пока описана в проектной документации, а не реализована в этих контрольных точках. Проект исследует разреженную гибридную архитектуру с Mamba-2, многоголовой латентной attention, смесью экспертов и троичными весами. Прототип проверяет механизмы смеси экспертов, маршрутизации и оптимизации. По карточке, данные для обучения и оценки — англоязычные корпуса. Модель предназначена для экспериментов с масштабированием и генерацией текста; README не приводит результатов качества или оценки пригодности для практических приложений. В репозитории опубликованы веса в форматах PyTorch и safetensors; для загрузки канонических весов указаны PyTorch и safetensors. Лицензия обозначена как other, конкретные условия в доступных сведениях не раскрыты.

Mini-K3-1H-kda-kernel-0-v2 — текстовая модель семейства Mini-K3, разработанная для контролируемого сравнения вариантов архитектуры. Это предобученный чекпойнт с 13 декодерными слоями: 9 слоями KDA и 4 слоями Gated MLA, с разреженным MoE-блоком. В README указано около 1,02 млрд логических параметров; метаданные каталога указывают 385,9 млн параметров. Контекстное окно по метаданным составляет 131 072 токена, а обучение выполнялось на последовательностях длиной 8 192 токена. Веса сохранены в BF16 и формате safetensors. Модель предназначена для генерации текста и изучения поведения архитектурных вариантов на этапе предобучения. Она обучена на 16 млрд целевых токенов, не проходила постобучение и не оценивалась на прикладных задачах. Поэтому её не следует использовать как готового ассистента, ожидающего выполнение инструкций; возможны неточные, предвзятые или повторяющиеся ответы. Лицензия в предоставленных данных не указана.

Mini-K3-1H-llama-gqa-block4 — текстовая модель Mini-K3 от nkkbr, созданная как исследовательский контроль для сравнения вариантов MHA и GQA с разными остаточными механизмами. Это не официальная модель Meta Llama. Модель обучена предсказывать следующий токен и предназначена для генерации текста и изучения архитектурных решений; она предварительно обучена и не настроена следовать инструкциям или вести диалог как ассистент. Архитектура — декодер на 13 слоях с обычным GQA-вниманием, full-head RoPE и Block-4 Attention Residuals. В README указано 966,4 млн логических параметров и около 303,1 млн активируемых на токен; метаданные каталога указывают общий размер 372,2 млн параметров. Контекст по метаданным — 131 072 токена, тогда как длина последовательности при обучении составляла 8 192 токена. Модель использует текстовый ввод и выдаёт текст; модельные теги указывают на семейство mini_k3 и MoE-архитектуру. Чекпойнт обучен на 16 млрд целевых токенов, но не оценивался на прикладных задачах. Это небольшой исследовательский прокси; его результаты не следует экстраполировать на полноразмерную Kimi-K3. Возможны неточные, предвзятые, небезопасные или повторяющиеся ответы. README не сообщает лицензию модели; условия лицензий исходных датасетов сохраняются отдельно, а их тексты в репозитории не распространяются.

Mini-K3-1H-mamba2-n128-g4-v1_C — текстовая исследовательская модель семейства Mini-K3, опубликованная в репозитории nkkbr. Это чекпойнт для эксперимента с архитектурой: девять блоков KDA заменены на последовательностные микшеры Mamba-2/SSD, а четыре слоя Gated MLA, Stable LatentMoE, остаточные связи Block-4, токенизатор и языковая голова сохраняют дизайн Mini-K3-1H. Модель содержит 385,9 млн параметров по метаданным; ширина скрытого слоя — 1024, всего 13 декодерных слоёв, контекст — до 131 072 токенов. Модель предварительно обучена на предсказание следующего токена, на 16 млрд целевых токенов, с последовательностями обучения длиной 8192 токена. Это небольшой исследовательский прокси для изучения замены KDA на Mamba-2 в смешанной архитектуре с MoE, а не готовый чат-ассистент: дообучение в формате инструкций не проводилось. Число активных параметров, указанное в карточке, отличается от общего размера в метаданных, поэтому эти значения описывают разные способы подсчёта. Репозиторий содержит веса Safetensors и конфигурацию с кодом загрузки и токенизатором. В README нет сведений о лицензии, поэтому условия использования по доступным данным определить нельзя. Авторы предупреждают, что результаты модели такого размера, состава данных и длины обучающих последовательностей нельзя напрямую переносить на полноразмерную Kimi-K3 или другие системы Mamba без дополнительной проверки.

MiraLM-47M — гибридная языковая модель на 47,6 млн параметров, разработанная vaprooll и обученная с нуля без предобученных весов и дистилляции. Архитектура чередует блоки Mamba и attention и использует разреженную смесь из восьми экспертов с выбором двух экспертов для каждого токена; в метаданных класс модели указан как MiraLMForCausalLM. Модель предназначена для генерации текста и служит компактным экспериментальным чекпойнтом, демонстрирующим полный цикл обучения и оценки в ограниченном бюджете. Она обучалась на 45 млн токенов из кода, математики и веб-текстов; автор приводит результаты на тестах HellaSwag, ARC-Easy, PIQA, WinoGrande и WikiText-103. README отмечает, что модель существенно недообучена, результаты на тестах здравого смысла близки к случайному уровню, а качество на прозе ограничено сдвигом домена. Лицензия в предоставленных данных не указана.