II.3Рефакторинг, миграция и модернизация

RuDolph-Hermes-7B — разговорная языковая модель, созданная автором карточки как объединение двух моделей Mistral 7B: Dolphin 2.2.1 и OpenHermes 2.5. Слияние выполнено методом SLERP с кривой, вдохновлённой сигмоидой; модель имеет архитектуру MistralForCausalLM и около 7,1 млрд параметров. Репозиторий предоставляет веса в формате safetensors. Модель предназначена для диалогов и генерации текста, в том числе для ответов на запросы и помощи с кодом. Она принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В карточке не указаны специальные языки или предметные области, поэтому языковая поддержка не уточняется. Автор характеризует модель как хорошую разговорную модель, но численные результаты приведены лишь для части оценочных тестов и не гарантируют качество в конкретных сценариях. Лицензия в предоставленных данных не указана.

Supertron1-4B — инструктивно дообученная языковая модель от Surpem на базе Qwen/Qwen3-4B. Это плотный причинный Transformer примерно на 3,7 млрд параметров, предназначенный для диалогов, следования инструкциям, математических рассуждений, программирования и повседневной генерации текста. Модель принимает текст и выдаёт текст; заявленная длина контекста — 40 960 токенов. В метаданных указана поддержка английского языка. По заявлению автора, настройка на математические и программные задачи обеспечивает хорошие результаты на GSM8K и HumanEval, а модель остаётся достаточно компактной для запуска на потребительском оборудовании. Эти сравнения приведены в README без подробностей методики оценки. Модель распространяется в формате Safetensors под лицензией Apache 2.0.

Toffee-3B-β — языковая модель для генерации текста и диалогового взаимодействия, разработанная maxzt. Модель дообучена на базе mistralai/Ministral-3-3B-Base-2512 с целью создания компактного полезного ассистента. Основной язык — английский; заявленные сценарии включают чат, выполнение инструкций, ответы на вопросы, рассуждения, математические задачи и программирование. Модель содержит около 3 млрд параметров и использует архитектуру Ministral 3 семейства Mistral. Длина контекста составляет 8 192 токена, размер словаря — 131 072, размер скрытого состояния — 3 072, 26 слоёв, 32 attention heads и 8 KV heads. Базовая точность указана как BF16. Дообучение выполнено методом SFT с LoRA на наборах UltraChat 200k, OpenMathInstruct-2 и CodeFeedback-Filtered-Instruction; использовалось до 80 000 примеров. Сильными сторонами являются компактный размер, пригодность для локального развёртывания и хорошие результаты на ряде стандартных тестов для моделей этого класса: 63,10% на MMLU, 72,04% на HellaSwag, 84,98% на BoolQ и 68,11% на Winogrande. Ограничения включают преимущественно англоязычную специализацию, небольшой контекст в 8 192 токена и отсутствие заявленной мультимодальности. Результаты на бенчмарках могут зависеть от настроек оценки и не гарантируют аналогичное качество в прикладных сценариях. Лицензия — MIT.

Tulu 7B — языковая модель Allen Institute for AI (AI2), полученная дообучением LLaMA 7B на смеси наборов инструкций FLAN V2, CoT, Dolly, OpenAssistant 1, GPT4-Alpaca, Code-Alpaca и ShareGPT. Это плотная авторегрессионная модель семейства LLaMA с 6,6 млрд параметров, представленная в формате PyTorch и рассчитанная на контекст до 2048 токенов. Модель предназначена для генерации ответов на инструкции и диалоговые запросы, а также для задач общего рассуждения и генерации кода. В карточке приведены результаты оценки на тестах знаний, математики, рассуждений, вопросов и ответов и программирования. Для работы требуется исходная модель LLaMA в формате Hugging Face; Tulu 7B опубликована как разность весов, а вход нужно подавать в предусмотренном моделью формате с инструкцией и разделителями. Модель ориентирована на английский язык. Она лицензирована по лицензии AI model license вместе с исходной лицензией LLaMA; условия обеих лицензий следует учитывать при использовании. Контекст ограничен 2048 токенами, а качество генерации зависит от соблюдения формата входа.

Zephyr ORPO 141B-A35B v0.1 — разговорная языковая модель, совместно обученная Argilla, KAIST и Hugging Face. Это дообученная с помощью Odds Ratio Preference Optimization (ORPO) модель mistral-community/Mixtral-8x22B-v0.1 с архитектурой Mixture of Experts (MoE): в карточке указаны 141 млрд параметров всего и 39 млрд активных, тогда как метаданные каталога указывают 22 млрд параметров. Для каталога также заявлен контекст до 65 536 токенов. Модель предназначена для диалогового ассистирования и общих задач с текстом, включая код, математику и рассуждения. В обучении использован датасет argilla/distilabel-capybara-dpo-7k-binarized с синтетическими многоходовыми предпочтениями. README сообщает о сильных результатах на MT Bench и IFEval, но обучение описано как проверка ORPO в большом масштабе, а не как выпуск универсальной системы с гарантированным качеством. Основной язык — английский. Модель принимает текст и генерирует текст; метаданные отмечают поддержку чата. Лицензия — Apache 2.0. В README предупреждается, что модель не проходила этап RLHF для выравнивания по человеческим предпочтениям в области безопасности и может выдавать проблемные ответы, особенно при соответствующих запросах.

ehristoforu/0000mxs — языковая модель Mistral для генерации текста и диалогового общения, созданная автором репозитория с помощью mergekit. Это слияние пяти предварительно обученных моделей: Gaivoronsky/Mistral-7B-Saiga, HuggingFaceH4/mistral-7b-grok, NousResearch/Yarn-Mistral-7b-128k, OpenBuddy/openbuddy-mistral2-7b-v20.3-32k и ajibawa-2023/Code-Mistral-7B; применён метод passthrough. Модель имеет плотную архитектуру MistralForCausalLM, 12,4 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации ответов в чате, продолжения текста и задач, связанных с кодом. В состав слияния входят модели с русскоязычной диалоговой настройкой, поддержкой длинного контекста и специализацией на коде, однако README не сообщает результатов оценки качества или точного распределения возможностей итоговой модели. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

bartowski/DeepSeek-V2.5-GGUF — набор GGUF-квантизаций модели DeepSeek-V2.5, разработанной DeepSeek AI и подготовленной для llama.cpp. Модель предназначена для генерации текста и локального запуска, в том числе через LM Studio; варианты файлов позволяют выбирать баланс между качеством, размером и требованиями к RAM или VRAM. Доступны квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q4_0, IQ4_XS, Q3, Q2 и IQ1–IQ3 различных уровней. Размер файлов составляет примерно от 52,68 до 250,62 ГБ; крупные варианты разделены на несколько файлов. Квантизации выполнены с использованием imatrix на базе llama.cpp b3658, отдельные варианты используют Q8_0 для embedding- и output-весов. Для модели указан формат prompt с системным сообщением, запросом пользователя и ответом ассистента. Сильная сторона набора — широкий выбор вариантов: Q6_K и Q5_K_M заявлены как близкие к исходному качеству, Q4_K_M — как рекомендуемый компромисс, а малые варианты подходят для систем с ограниченной памятью, хотя имеют заметно более низкое качество. README не содержит сведений об архитектуре, числе параметров, поддерживаемых языках и размере контекстного окна. Лицензия указана как other/deepseek; применяются условия лицензии DeepSeek, доступной по ссылке в карточке модели.

Deepthought-8B — разговорная модель генерации текста от Ruliad, основанная на плотной архитектуре LLaMA 3.1 и содержащая 7,5 млрд параметров. Она предназначена для задач рассуждения, следования инструкциям, программирования и математики. Модель формирует структурированные ответы и, согласно карточке, может представлять ход решения в формате JSON с отдельными шагами; глубину рассуждений можно настраивать во время вывода без дообучения. Контекст модели составляет до 131 072 токенов. Карточка заявляет работу на GPU с 16 ГБ видеопамяти или больше и рекомендует Flash Attention 2 для повышения производительности. Модель может быть полезна для пошагового решения задач, где требуется проверяемая структура ответа, а также для интеграции генерации рассуждений в приложения. В README отмечены ограничения при сложных математических задачах, обработке длинного контекста и нестандартных случаях. Доступна по лицензии Llama 3.1; перед использованием следует учитывать её условия.

Falcon-H1R-7B-GGUF — языковая модель для рассуждений, разработанная Technology Innovation Institute (TII) на основе Falcon-H1-7B-Base. Это авторегрессионная decoder-only модель с гибридной архитектурой, объединяющей Transformers и Mamba2. Модель обучалась с применением supervised fine-tuning на длинных цепочках рассуждений и последующего обучения с подкреплением методом GRPO. Модель предназначена для генерации текста, решения математических задач, программирования, следования инструкциям и задач общей логики. В README заявлена поддержка английского и многоязычного использования. Для запуска предусмотрен формат GGUF и совместимость с llama.cpp; рекомендуются temperature 0.6, top-p 0.95 и до 65536 новых токенов, что указывает на ориентацию на длинные рассуждения. Сильной стороной модели являются результаты на ряде тестов рассуждений, включая высокие показатели на AIME24, HMMT25, AMO-BENCH и MATH500, а также конкурентные результаты в программировании и общих задачах. При этом приведённые бенчмарки не гарантируют аналогичное качество в конкретных прикладных сценариях, а подробные сведения о размере контекстного окна, точном варианте квантования GGUF и ограничениях по языкам в README не указаны. Модель распространяется по лицензии Falcon-LLM License; условия доступны по ссылке, указанной разработчиком.

EpistemeAI2/Fireball-Phi-3-medium-4k-inst-Philos — дообученная на базе Phi-3 Medium Instruct модель для генерации ответов в диалоговом формате. Карточка описывает семейство Phi-3 Medium как плотную авторегрессионную языковую модель примерно на 13,8 млрд параметров; контекст составляет 4096 токенов. Эта версия ориентирована на английский язык и общие коммерческие и исследовательские сценарии, включая работу в условиях ограниченных вычислительных ресурсов и низкой задержки. Модель подходит для диалоговых помощников, ответов на вопросы, а также задач рассуждения, математики, логики и программирования. Базовая Phi-3 Medium Instruct прошла supervised fine-tuning и direct preference optimization для следования инструкциям и повышения безопасности. Репозиторий содержит веса в формате safetensors; лицензия — Apache 2.0. Как и другие языковые модели, она может выдавать неточные или вымышленные сведения, предвзятые или оскорбительные ответы. Качество на языках помимо английского ниже; сгенерированный код и ответы для чувствительных или высокорисковых сценариев требуют проверки. README преимущественно описывает базовую Phi-3 Medium Instruct, поэтому отдельные характеристики дообучения EpistemeAI2 на философских данных в предоставленной карточке подробно не раскрыты.

insraq/G9v3-3B-heretic — созданная командой AI9Stars версия G9v3-3B, обработанная инструментом Heretic v1.4.0 для снижения числа отказов. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM и примерно 2,7 млрд параметров, предназначенная для локального запуска и сценариев с ограниченными ресурсами. Модель поддерживает генерацию текста и диалоговое использование, включая повседневные запросы, программирование, рассуждения и взаимодействие с инструментами. Контекстное окно составляет 131 072 токена; в карточке указаны английский и китайский языки. В сравнении с исходной G9v3-3B модель показала 9 отказов из 100 тестовых запросов против 100 из 100 у оригинала; указанная дивергенция KL — 0,0410. Снижение числа отказов не гарантирует точности или безопасности: ответы могут быть ошибочными, предвзятыми или небезопасными, поэтому их следует проверять, особенно в важных сценариях. Весовые файлы представлены в формате safetensors. Лицензия — Apache-2.0.

AEON-7/Gemma-4-12B-it-AEON-Abliterated-MLX-8bit — это 8-битная MLX-квантизованная версия модели AEON-7/Gemma-4-12B-it-AEON-Abliterated-K4-BF16, созданная сообществом AEON-7 на базе Gemma 4. Модель предназначена для локального запуска на компьютерах с Apple Silicon через mlx-vlm и поддерживает диалоговые, агентские, программные и рассуждающие сценарии, а также вызов функций и инструментов. Модель содержит около 12 млрд параметров и использует формат mxfp8 с группами по 32 элемента для линейных слоёв языкового декодера; связанная выходная голова и проекторы для vision и audio сохранены в bf16. Поддерживаются текст, изображения и аудио, включая описание изображений и транскрибацию речи. В README явно указан английский язык. Для сервера MLX заявлен размер KV-кэша до 32768 токенов, однако точное максимальное контекстное окно модели не указано. Ключевое преимущество — высокая близость к исходной BF16-версии при существенно меньших требованиях к памяти: заявлены near-lossless качество, 0,924 совпадения top-1 токенов и медианный KL около 0,002 ната на собственной выборке. Модель рассчитана на Apple Silicon, оптимально с 24 ГБ и более unified memory; размер на диске около 13,4 ГБ, рекомендуемый объём памяти — от 32 ГБ, поэтому для Mac с 16 ГБ она может быть непрактична. Это abliterated-версия с удалёнными или ослабленными механизмами отказа, что может расширять диапазон ответов, но также снижать предсказуемость защитного поведения. Указана лицензия Gemma.

GLM-4.7-heretic — версия GLM-4.7 от Z.ai, обработанная методом abliteration с помощью Heretic v1.1.0. По данным карточки, изменение снижает частоту отказов, сохраняя качество исходной модели; в выбранном испытании зафиксировано 4 отказа из 100, а KL-дивергенция составила 0,0181. Модель предназначена для генерации текста и диалогов, а базовая GLM-4.7 рассчитана на программирование, агентные задачи и рассуждения. Это модель семейства GLM-4 MoE с 23,4 млрд параметров и контекстом до 202 752 токенов; метаданные указывают английский и китайский языки. Доступны веса в формате Safetensors и интерфейс чата. Лицензия — MIT.

Huihui-Qwen3.8-27B-abliterated-NVFP4 — квантизированная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, подготовленная автором репозитория sakamakismile. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, переводов и следования инструкциям. Она также содержит необработанную vision tower, однако мультимодальная работа в README не тестировалась. Модель основана на архитектуре Qwen3.8 с 27 млрд параметров и использует NVFP4-квантизацию W4A4 с размером группы 16. Большинство весов представлены в NVFP4, а lm_head, vision tower, conv1d DeltaNet и MTP head сохранены в bfloat16. Поддерживаются speculative decoding через MTP и запуск в vLLM 0.22 на GPU с архитектурой Blackwell SM120. Размер весов уменьшен с 55,6 до 20,0 ГБ; рекомендуемый контекст — до 32 768 токенов. README не указывает полный список поддерживаемых языков, но результаты проверок включают английский, французский и японский. К сильным сторонам относятся заметное сокращение объёма модели, совместимость с двумя видеокартами по 16 ГБ при наличии запаса под KV-кэш, сохранение MTP-головы для ускоренного декодирования и отсутствие выявленного ухудшения на заявленном наборе проверок после более узкой абляции. Ограничения включают необходимость Blackwell и vLLM 0.22 для описанной конфигурации, неподтверждённую мультимодальную работу, а также периодические пропуски закрывающей скобки при генерации длинных файлов кода; рекомендуется использовать синтаксическую проверку. Модель распространяется по лицензии Apache-2.0. Репозиторий содержит только квантизированные веса, а авторство исходной модели принадлежит huihui-ai.

unsloth/inkling-NVFP4 — вариант мультимодальной модели Inkling от Thinking Machines, опубликованный Unsloth. Модель представляет собой авторегрессионный трансформер с 66 слоями и разреженной архитектурой Mixture-of-Experts: всего 975 млрд параметров, из которых активно 41 млрд. Она принимает текст, изображения и аудио, обрабатывает их совместно и генерирует текст. В README также описана поддержка видео у семейства Inkling; для этой версии метаданные каталога подтверждают задачу image-text-to-text и возможность работы с изображениями. Модель предназначена для диалогов, следования инструкциям, анализа изображений, приложений с инструментами и агентными сценариями, помощников по программированию и систем RAG. Основной язык — английский; заявлены общие многоязычные возможности. Версия NVFP4 обозначена в названии, а в README для семейства перечислены NVFP4 и BF16. Лицензия — Apache-2.0. Модель может галлюцинировать, неточно следовать инструкциям и хуже работать в длинных многоходовых диалогах; качество может различаться по языкам и предметным областям. Для потенциально вредных запросов возможны обходы защит через ролевые и косвенные формулировки, поэтому для пользовательских продуктов нужны проверки и дополнительная модерация.

mlx-community/K2-Horizon-7B-bf16 — конверсия модели IFM/K2-Horizon-7B в формат MLX с точностью bf16, подготовленная сообществом mlx-community для компьютеров Apple silicon. Это плотная авторегрессионная модель семейства K2-Horizon с 7B параметров по README и 8B по метаданным; она поддерживает контекст до 524 288 токенов и предназначена для диалогов и генерации текста, включая работу с длинными запросами. В карточке описаны проверки соответствия реализации PyTorch и тестовые примеры генерации. Модель подходит для ответов на вопросы, рассуждений, помощи с кодом и обработки длинных текстов. Конверсия выполнена без квантизации, поэтому веса занимают около 18 ГБ; с учётом памяти для KV-кэша длинный контекст требует существенно больше оперативной памяти. Для запуска указана библиотека mlx-lm и необходимость доверенной загрузки кода модели в некоторых версиях. Лицензия — Apache-2.0.

Llama3.1-DarkStorm-Aspire-8B — плотная языковая модель семейства Llama 3.1, опубликованная ZeroXClem. Это объединение моделей Dark Enigma, Storm, Aspire и DarkStock методом TIES с использованием подхода Model Stock; в репозитории указаны 7,5 млрд параметров и формат SafeTensors. Модель предназначена для генерации текста, диалогов и следования инструкциям, включая творческое письмо, ролевые сценарии, помощь с кодом, анализ и исследовательские задачи. Она поддерживает контекст до 131 072 токенов и рассчитана прежде всего на английский язык. Карточка заявляет сильные стороны в связной генерации, творческом письме, рассуждениях и диалогах. Модель может выдавать предвзятые, ошибочные или вымышленные сведения; ответы в чувствительных сценариях требуют проверки. README также отмечает uncensored-подход, поэтому возможен чувствительный или оскорбительный контент. Лицензия — Apache-2.0.

Llama3.1-SuperDeepFuse — языковая модель на архитектуре Llama, созданная слиянием трёх моделей: Llama-3.1-SuperNova-Lite, DeepSeek-R1-Distill-Llama-8B и FuseChat-Llama-3.1-8B-Instruct. Автор README указывает базовую модель meta-llama/Llama-3.1-8B-Instruct и метод слияния model_stock. Модель содержит около 7,5 млрд параметров и поддерживает контекст до 131 072 токенов; опубликована в формате safetensors для Transformers. Модель предназначена для диалогов и генерации текста с упором на следование инструкциям, многошаговые рассуждения, математику и программирование. README заявляет многоязычную поддержку, однако в метаданных указан только английский язык. По карточке модель подходит для запуска на потребительских GPU, но её возможности уступают более крупным моделям. Модель всё ещё проходит оценку; результаты приведены лишь для части бенчмарков. Она может выдавать вводящие в заблуждение ответы, поэтому результаты следует проверять. Лицензия — условия использования Llama 3.1.

Fu01978 разработал Llama-3.2-1B-4B-Quad-MoE — языковую модель с разреженной архитектурой Mixture of Experts для генерации текста и диалогов. В состав объединённой модели входят четыре эксперта на базе моделей Llama 3.2: инструктивная модель общего назначения, базовая модель для творческого текста, специалист по коду и специалист по математике. Метаданные указывают архитектуру MixtralForCausalLM и библиотеку Transformers. В README заявлены 3,65 млрд параметров всего и 1,24 млрд активных параметров на токен; метаданные каталога указывают 1,2 млрд параметров. Заявленная длина контекста — 131 072 токена, основной язык карточки — английский. Модель подходит для диалогов, написания текста, помощи с кодом и математических рассуждений. Доступна в формате Safetensors и распространяется по лицензии Llama 3.2.

llm-jp-4.1-32b-a3b-thinking — языковая модель семейства LLM-jp-4.1, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это трансформерная MoE-модель для генерации текста и диалогов; в ней 32 млрд общих параметров, из которых активируются около 3,8 млрд. Контекст составляет 65 536 токенов. Модель обучалась на 11,7 трлн токенов, а версия thinking прошла дообучение с контролируемой настройкой и выравниванием предпочтений DPO. Модель предназначена для диалоговых ассистентов и задач общего назначения: ответов на вопросы, рассуждений, математики, научных вопросов, программирования и перевода между японским и английским языками. Карточка указывает поддержку английского и японского; модель принимает текст и генерирует текст. Чат-шаблон совместим с форматом OpenAI Harmony, но для токенизации следует использовать комплектный токенизатор: токенизатор отличается от ожидаемого библиотекой openai-harmony. Разработчик характеризует релиз как модель для исследований и разработок и не рекомендует напрямую использовать её в производственных сервисах. Ответы могут быть неточными, неподходящими или нежелательными, поэтому модель следует оценивать для конкретного применения. Лицензия — Apache-2.0.

Maba-v1-600M — причинная языковая модель семейства Maba, представленная AndrewThompson1233. Несмотря на название, модель содержит 752 млн параметров, из них 498 млн не относятся к эмбеддингам; она обучена примерно на 150 млрд токенов. Архитектура состоит из 24 слоёв: 18 слоёв линейной рекуррентной Gated DeltaNet-2 и 6 слоёв Grouped-Query Attention. Такая гибридная схема рассчитана на линейное масштабирование по длине контекста и сокращение памяти KV-кэша по сравнению с обычными трансформерами. Модель предназначена для генерации текста и диалогов, а также для задач с кодом, математикой и рассуждениями. В README приведены результаты тестирования на MMLU, GSM8K и ARC-Challenge; для этой версии двухпроходный режим инференса отключён из-за ошибки в параметре обучающего скрипта, поэтому указанные оценки относятся к обычному однопроходному инференсу. Метаданные указывают многоязычную поддержку, включая английский, русский, китайский и ряд европейских языков. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

Модель mergekit-model_stock-injkqri — объединение предварительно обученных языковых моделей, созданное с помощью mergekit методом Model Stock. В качестве базовой использована Qwen/Qwen2.5-14B-Instruct-1M; в слияние также вошли Virtuoso-Small, Qwen2.5-Coder-14B, miscii-14b-1225 и tempesthenno-ppo-ckpt40. Это плотная архитектура Qwen2 с 14 млрд параметров, доступная в формате safetensors и рассчитанная на генерацию текста и диалоговое взаимодействие. Модель предназначена для генерации ответов и продолжения текста в чат-сценариях; состав исходных моделей также ориентирует её на задачи программирования и следования инструкциям. Метаданные указывают контекст до 1,01 млн токенов и интерфейс для вызова инструментов. Карточка не сообщает результатов оценки качества или подробностей о фактическом поведении объединённой модели. Лицензия в предоставленных данных не указана.

unsloth/Meta-Llama-3.1-70B-Instruct-bnb-4bit — это 4-битно квантованная версия Meta-Llama-3.1-70B-Instruct, подготовленная с использованием экосистемы Unsloth. Базовую модель разработала Meta; в карточке указано, что Unsloth предоставляет квантованный вариант и инструменты для более эффективного дообучения. Модель предназначена для генерации текста и диалоговых сценариев, включая создание виртуальных ассистентов, обработку инструкций и адаптацию под специализированные наборы данных. Модель относится к семейству Llama 3.1, содержит 70 миллиардов параметров и использует архитектуру decoder-only Transformer, характерную для этой серии. Указан основной язык English; поддержка других языков в карточке не заявлена. Формат bnb-4bit снижает требования к памяти по сравнению с полноразмерной моделью, что может упростить локальный запуск и дообучение, однако потенциально сопровождается потерей качества относительно исходной версии и требует совместимого программного и аппаратного окружения. Сведения о размере контекста, мультимодальности и точных характеристиках инференса отсутствуют. Модель распространяется по лицензии Llama 3.1. Перед использованием необходимо учитывать условия этой лицензии и требования совместимого стека, включая Transformers и поддержку 4-битной загрузки.

Mica Spark-X2.5-4B — производная модель XHToken/Spark-X2.5-4B, опубликованная Miguel Amendez в виде артефактов для Mica runtime. Это диалоговая многоязычная языковая модель класса 4B для генерации текста; архитектура сочетает один слой полного внимания и три слоя с окном скользящего внимания. В README заявлен контекст до 1 048 576 токенов, включая вход и выход, однако он не подтверждён локальными испытаниями Mica на длинных последовательностях. Репозиторий содержит варианты MLX Q4 и Q8, GGUF Q4_K_M и Q8_0, а также safetensors. На Apple M4 варианты MLX прошли проверки генерации и серверного инференса, а GGUF — проверки инференса на Metal. Модель можно применять для диалогов и генерации текста на разных языках; базовая модель также предназначена для кода, рассуждений, перевода и агентных задач. Лицензия исходной модели и производных артефактов — Apache-2.0. Заявление о контексте в миллион токенов не подтверждено испытаниями Mica: для практического использования следует опираться на сертифицированный лимит выбранного профиля. Варианты vLLM не опубликованы как производственные артефакты, а локальные проверки не подтверждают работу на всех платформах и режимах.

mlx-community/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-OptiQ-4bit — это MLX-квантизированная версия модели GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking, которая представляет собой reasoning fine-tune архитектуры MiniCPM5-1B примерно на 1 млрд параметров. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения задач с рассуждениями, программирования, tool calling и function calling. Заявлена поддержка английского и китайского языков, а формат работы ориентирован на Apple Silicon через MLX. Основная точность квантования — 4-bit, при этом чувствительные слои хранятся в 8-bit. Всего квантизировано 169 слоёв: 67 в 8-bit и 102 в 4-bit; эффективная разрядность составляет 5,805 бит на вес. Размер весов уменьшен с 2,0 ГБ в bf16 до 874 МБ, что делает модель удобной для локального запуска на компьютерах Apple Silicon. При генерации модель формирует рассуждения внутри тегов <think>...</think>, поэтому ей требуется достаточно большой лимит max_tokens. К сильным сторонам относятся малый размер, локальная работа без облачных сервисов и PyTorch, поддержка MLX-native serving, смешанной точности KV-cache и LoRA fine-tuning через mlx-optiq. При этом для данной квантованной версии не проводились task-бенчмарки, а распределение разрядности перенесено с базовой модели MiniCPM5-1B и может несколько отличаться по оптимальности для этого fine-tune. В карточке указана лицензия Apache-2.0; также рекомендуется учитывать условия лицензии исходной модели.

openbmb/MiniCPM5-2B-GGUF — компактная языковая модель MiniCPM5-2B от OpenBMB, представленная в формате GGUF для локального запуска. Это плотная Transformer-модель примерно на 2 млрд параметров, предназначенная для генерации текста и работы в условиях ограниченных вычислительных ресурсов, включая развёртывание на устройствах и edge-системах. Модель ориентирована на английский и китайский языки и поддерживает сценарии программирования, математического рассуждения, понимания длинного контекста, использования инструментов и агентских задач. Разработчики заявляют конкурентоспособность с моделями класса 4B и лучшие результаты среди сопоставимых открытых моделей класса 2B в ряде перечисленных направлений. Точная максимальная длина контекста, параметры квантования GGUF и сведения о мультимодальности в представленном README не указаны; по описанию это текстовая модель без заявленной поддержки изображений или аудио. К сильным сторонам относятся небольшой размер, пригодность для локального и on-device использования, а также заявленные возможности в коде, математике, работе с длинным контекстом и инструментами. Ограничениями являются меньшая ёмкость по сравнению с крупными языковыми моделями и отсутствие подробных количественных результатов и характеристик конкретной GGUF-сборки в предоставленных данных. Модель распространяется по лицензии Apache-2.0.

WhiskyAKM/MiniCPM5-2B-GGUF — квантизированная версия модели openbmb/MiniCPM5-2B, подготовленная в формате GGUF с использованием инструментов проекта llama.cpp. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами, создания локальных ассистентов, coding agents, сценариев вызова инструментов и задач, требующих компактной модели. Это плотная Transformer-модель архитектуры LlamaForCausalLM с 2,52 млрд параметров, 42 слоями и grouped-query attention: 16 голов запросов и 2 головы ключей и значений. Поддерживается контекст до 131 072 токенов, языки — английский и китайский. Модель поддерживает режим рассуждений, управляемый параметром enable_thinking, а также XML-стиль вызова инструментов. Доступны варианты от BF16 до 4-битных квантов; Q4_K_M обозначен как сбалансированный вариант по качеству и размеру, его файл занимает около 1,5 ГБ. К сильным сторонам относятся небольшой размер, возможность локального развертывания, длинный контекст и поддержка спекулятивного декодирования с draft-моделями MiniCPM5-2B-DSpark, что может ускорять генерацию. К ограничениям относятся поддержка только текстовой модальности и заявленных языков, а также потенциальная потеря качества при использовании более агрессивной квантизации. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B-heretic — компактная плотная языковая модель семейства MiniCPM5, представленная в карточке как модель для локального запуска на устройствах с ограниченными ресурсами. Она основана на архитектуре LlamaForCausalLM и содержит около 2,2 млрд параметров; README указывает 2,52 млрд параметров всего и 1,98 млрд без эмбеддингов. Контекстное окно составляет 131 072 токена. Модель предназначена для диалоговых помощников, генерации текста, программирования, математических рассуждений, работы с длинным контекстом и сценариев использования инструментов. Карточка заявляет сильные результаты относительно моделей сопоставимого размера в программировании, математике, понимании длинного контекста и агентных задачах, а также пригодность для локального и периферийного развертывания. Эти оценки приведены разработчиками и не являются независимой проверкой. Теги «heretic», «uncensored» и «abliterated» указывают на модификацию с ослабленными отказами, но README не описывает способ её получения; поэтому происхождение именно этой версии нельзя уверенно установить. Модель принимает текст и генерирует текст. В метаданных указаны английский и китайский языки. Лицензия — Apache-2.0. Ответы могут быть неточными, предвзятыми или оскорбительными; модель может выдавать нежелательный контент под воздействием специально составленных запросов. Ответы на чувствительные темы не являются профессиональной консультацией, а для практического применения нужны собственные меры безопасности.

Mistral-22B-v0.2 — экспериментальная плотная языковая модель на 22 млрд параметров, созданная Nicolas Mejia-Petit. По описанию автора, это преобразование MoE-модели в плотную: знания экспертов объединены в одну модель. Она дообучалась на многоходовых диалогах, в том числе на примерах программирования, математических задач, ответов в JSON и действий агента. Автор отмечает улучшения в связности ответов, следовании запросам и программировании по сравнению с предыдущей версией, однако приводит лишь результаты собственных предварительных проверок. Модель предназначена для генерации текста в диалоговом формате Guanaco. В README указана длина обучения 32 тыс. токенов, а метаданные каталога указывают контекст до 65 536 токенов. Для применения рекомендуется использовать шаблон Guanaco. Модель заявлена как намеренно слабо ограниченная по отказам, поэтому может выдавать нежелательный контент. Автор называет её экспериментальной и незавершённой. Лицензия — Apache-2.0.

Muse Glimmer 30B GGUF — это квантизированная версия 30-миллиардной каузальной языковой модели Muse Glimmer, разработанной Meta Superintelligence Lab и дистиллированной из Muse Spark. Репозиторий содержит сборки в формате GGUF для локального запуска через llama.cpp на пользовательском оборудовании без облачной инфраструктуры и сетевого доступа. Релиз датирован августом 2026 года, лицензия — Apache 2.0. Модель предназначена для автономных агентных задач, многошагового рассуждения, надёжного использования инструментов, мультимодального понимания и восстановления после сбоев. Базовые GGUF-файлы работают с текстом, а для обработки изображений требуется отдельный perception encoder. Дополнительно доступен DFlash drafter для ускорения генерации с помощью speculative decoding. Указан контекст до 131072 токенов при запуске сервера, однако конкретная доступная длина зависит от конфигурации и ресурсов устройства. Доступны две текстовые квантизации: Q4_K_M размером около 16,8 ГБ, ориентированная на видеокарты с 24 ГБ памяти, и Dynamic Q4_K_XL размером около 19,7 ГБ для систем с 32 ГБ памяти. Вместе с энкодером изображений и drafter требуется примерно до 23 ГБ памяти. Сильными сторонами являются локальная работа, поддержка агентных сценариев, рассуждения и изображений; ограничениями — крупный размер, необходимость совместимой версии llama.cpp не ниже b10353 и отсутствие опубликованной bf16 GGUF-сборки в этом репозитории.