II.3Рефакторинг, миграция и модернизация

QuantFactory/Nous-Hermes-2-SOLAR-10.7B-GGUF — квантизированная версия Nous-Hermes-2-SOLAR-10.7B, созданная с помощью llama.cpp. Базовую модель разработала Nous Research на основе SOLAR 10.7B; обучение проводилось на 1 000 000 примеров, преимущественно сгенерированных GPT-4, а также на качественных данных из открытых наборов, включая teknium/OpenHermes-2.5. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций, включая задачи программирования и рассуждений. Она работает в формате instruct/chat и использует шаблон ChatML. Указан английский язык, поддерживаются текстовые входы и выходы; размер модели — 10,7 млрд параметров. Квантизация снижает требования к ресурсам по сравнению с исходной моделью, но конкретный формат квантизации, размер контекста и аппаратные требования в README не указаны. По заявлению авторов, модель заметно превосходит базовую SOLAR 10.7B на бенчмарках GPT4All, AGIEval, BigBench и TruthfulQA; для GPT4All указан средний результат 74,69%, для AGIEval — 47,79%. Ограничения включают ориентацию на английский язык, возможные ошибки и галлюцинации, а также отсутствие подробной информации о варианте квантизации и эксплуатационных требованиях. Модель распространяется по лицензии Apache-2.0.

Occiglot-7B-FR-EN-Instruct — генеративная языковая модель с 7 млрд параметров, разработанная исследовательским коллективом Occiglot при поддержке подразделений DFKI SAINT и SLT. Это instruct-версия модели occiglot-7b-fr-en, предназначенная для диалогового взаимодействия и выполнения инструкций на английском и французском языках, а также для работы с кодом. Модель доступна в формате GGUF и распространяется по лицензии Apache 2.0. Модель построена на архитектуре авторегрессионного decoder-only Transformer, а её токенизатор унаследован от Mistral-7B-v0.1. Для дообучения использовались 160 млн дополнительных токенов мультиязычных и кодовых инструкций, включая англоязычные и франкоязычные наборы Open-Hermes-2B, Bactrian-X, AI-Society Translated, GT-Dorimiti, OASST-2 и Aya-Dataset. Обучение выполнялось с контекстом 8192 токена и шаблоном диалогов ChatML. Сильная сторона модели — специализация на английском и французском языках при сохранении возможностей генерации кода и следования инструкциям. Она может применяться для чат-ботов, ответов на вопросы, генерации и преобразования текста, а также вспомогательных задач программирования. При этом проект позиционируется как открытое исследование, а README предупреждает, что модель не проходила safety alignment и может генерировать проблемный или небезопасный контент. Результаты оценки следует интерпретировать с осторожностью, поскольку часть неанглоязычных тестов основана на машинном переводе и англоязычных запросах.

RedHatAI/OpenHermes-2.5-Mistral-7B-pruned2.4 — разреженная оптимизированная версия OpenHermes-2.5-Mistral-7B, подготовленная для высокопроизводительного запуска через NM-vLLM. В основе лежит дообученная на инструкциях и диалогах модель Mistral с 7,1 млрд параметров; архитектура — MistralForCausalLM, формат весов — PyTorch. Контекст модели составляет до 32 768 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции и помощь с кодом. Разреживание с помощью SparseGPT позволяет уменьшить требования к памяти и повысить пропускную способность при обслуживании в NM-vLLM. В README также описана возможность настраивать сжатие через recipe.yaml. Лицензия в предоставленных данных не указана.

OpenThaiGPT 1.6 72B — плотная языковая модель команды OpenThaiGPT для диалогов и общих задач на тайском и английском языках. Она основана на архитектуре Qwen2, содержит 71,5 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для ответов на вопросы, рассуждений, решения математических задач и помощи с кодом. Команда отмечает улучшения в рассуждениях о коде на тайском и английском языках, а также понимании тайского языка и культурного контекста. Модель можно запускать локально; для облегчённых вариантов доступны отдельные GGUF-квантизации. Это объединённая модель, собранная из OpenThaiGPT 1.5 72B Instruct и вариантов OpenThaiGPT 1.6 для экзаменационных задач, общих инструкций и Lexitron. Репозиторий содержит веса Safetensors. Указана лицензия other, без конкретизации её условий в предоставленных данных. Ответы модели не гарантированы; полная точность и применимость к конкретным задачам не установлены.

Ornith-1.5-35B-A3B-abliterated-NVFP4-DFlash-GGUF — текстовая диалоговая MoE-модель, подготовленная pottokao для запуска через llama.cpp. Это GGUF-сборка производной от ornith-ai/Ornith-1.5-35B-A3B модели: в ней намеренно удалено поведение отказа, а веса преобразованы из NVFP4 в GGML_TYPE_NVFP4 без повторной квантизации. Объём весов — 19,5 ГБ; дополнительно доступна черновая модель DFlash для спекулятивного декодирования. Сборка рассчитана на текстовый ввод и генерацию текста, не содержит визуального модуля и MTP-головы. Модель предназначена для диалоговой генерации, рассуждений, написания кода, суммаризации и ответов на запросы, в том числе с длинными промптами. Автор сообщает о запуске на двух потребительских GPU по 16 ГБ и приводит тесты на RTX 5070 Ti; для ускорения NVFP4 на GPU требуется поддержка Blackwell и сборка llama.cpp с соответствующей CUDA-архитектурой. По опубликованному сравнению конфигурация llama.cpp уступала сборке vLLM по скорости. Поведение отказа отфильтровано, поэтому модель может выдавать небезопасные ответы. Лицензия — MIT.

QuasarLM — открытая плотная языковая модель семейства Llama от Northwind AI Research для генерации текста и работы в роли чат-ассистента. Разработчики сообщают о дообучении с обновлённой смесью инструкций, расширенной программой проверяемых задач с вознаграждением и улучшенной поддержкой вызова инструментов. Модель предназначена для математических задач, программирования, логических рассуждений и диалогов общего назначения. В карточке приведены результаты внутренних сравнений, включая точность 81,2% на AIME 2026, а также заявлены снижение галлюцинаций и более длинные цепочки рассуждений. Репозиторий содержит веса PyTorch, модель загружается через Transformers. Лицензия — Apache-2.0. Указанные в README длинные рассуждения могут повышать расход токенов; бенчмарки и сравнительные заявления приведены разработчиками и не подтверждают качество на всех пользовательских сценариях.

DavidAU создал Qwen2.5-QwQ-35B-Eureka-Cubed — плотную языковую модель для генерации текста и диалогов с акцентом на рассуждения. Она объединяет QwQ-32B с компонентами DeepSeek-R1-Distill-Qwen-32B и TinyR1-32B-Preview методом автора «Cubed»: в README заявлены четыре дополнительных слоя и прирост примерно на 2 млрд параметров. Метаданные указывают архитектуру Qwen2 и 33,9 млрд параметров; модель рассчитана на контекст до 131 072 токенов и распространяется в формате safetensors для использования напрямую или конвертации в другие форматы. Модель предназначена для решения задач, требующих пошагового рассуждения, включая математику и программирование, а также для написания развернутых, творческих и научных текстов. README рекомендует шаблон ChatML без системного промпта и приводит настройки генерации; указанный там дополнительный промпт необязателен. Автор сообщает о более коротких цепочках рассуждений на некоторых задачах и улучшении детализации и креативности ответов, но не приводит независимых оценок. Лицензия в предоставленных данных не указана.

FreedomAISVR/Qwen3.5-4B-Instruct-MTP-MXFP4-GGUF — мультимодальная модель для генерации текста и понимания изображений, представленная в формате GGUF. По карточке, она основана на Qwen3.5-4B и распространяется в виде MXFP4-квантизированных весов; для обработки изображений используется отдельный проектор SigLIP в F16. Модель рассчитана на многоязычные инструкции, диалог, рассуждения и вызов инструментов; также заявлена поддержка видео. Режим рассуждений по умолчанию выключен. Архитектура включает 32 блока Transformer с гибридными механизмами внимания, FFN и SSM, а также одну голову Multi-Token Prediction. Заявлено контекстное окно 262 144 токена. Карточка указывает поддержку английского, китайского и кода; метаданные также отмечают мультиязычность. Модель распространяется по лицензии Apache-2.0. Для работы с изображениями нужен файл мультимодального проектора; фактическая скорость и качество зависят от используемого оборудования и совместимого ПО.

FreedomAISVR публикует квантованную в NVFP4 модель Qwen3.5-9B-Instruct в формате GGUF. Это мультимодальная модель семейства Qwen на 9 млрд параметров для диалога и выполнения инструкций; карточка указывает поддержку генерации текста, понимания изображений, рассуждений и генерации кода. В архитектуре сочетаются GQA и MLA, чередование блоков SSM (Mamba-2), а для изображений используется визуальный энкодер SigLIP ViT с мультимодальным проектором. Режим рассуждений по умолчанию выключен. Квантование NVFP4 рассчитано прежде всего на ускорение инференса на GPU NVIDIA Blackwell с 4-битными тензорными ядрами. В репозитории есть текстовая модель размером 5,31 ГБ и проектор изображений F16 размером 0,92 ГБ. Для запуска с изображениями README описывает использование llama.cpp и отдельного файла проектора. Метаданные указывают лицензию Apache-2.0. Модель подходит для диалоговых помощников, ответов на вопросы об изображениях, программирования и многоязычных текстовых задач. README рекомендует традиционные форматы квантования для оборудования до поколения Blackwell, GPU AMD и CPU; качество и скорость этой сборки на иных конфигурациях не охарактеризованы. Языковая поддержка включает английский, китайский и другие языки, но основной язык для этой сборки не выделен.

Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B — это квантизированная и подвергнутая экспертному прунингу языковая модель для генерации текста, разработанная сообществом mlx-community на базе mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit. Модель использует архитектуру Mixture-of-Experts: в каждом слое сохранено 128 из 256 экспертов, при этом для каждого токена активируются 8 экспертов. Число параметров уменьшено с 35,1 до 18,8 млрд, размер на диске составляет 13,8 ГБ, а пиковое потребление памяти — около 11,6 ГБ. Данные о поддерживаемых языках и размере контекста в README не указаны. Модель предназначена для локального запуска и генерации текста на устройствах Apple Silicon через MLX, а также для задач следования инструкциям, математических рассуждений, вызова функций и генерации кода. Прунинг выполнен методом REAP без деквантизации, повторной квантизации или дообучения; активные параметры на токен и скорость декодирования сохраняются, а скорость в указанном сравнении выросла с 47,0 до 54,7. По сравнению с исходной моделью Capability Score снизился с 80,03 до 76,57; особенно заметно падение на MMLU, тогда как результаты GSM8K и IFEval улучшились. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-OptiQ-4bit — это квантизированная версия reasoning-модели семейства Qwen3.8, разработанная сообществом mlx-community на базе orcarouter/Qwen3.8-27B-Uncensored. Модель предназначена для генерации текста, рассуждений, работы с длинным контекстом, function calling, tool use и агентских сценариев. В карточке указана поддержка английского языка. Модель содержит 27 млрд параметров и использует смешанную квантизацию OptiQ с точностью 4 и 8 бит на уровне отдельных компонентов: 237 компонентов представлены в 4-битном формате, 261 — в 8-битном. Размер модели на диске составляет около 19 ГБ, group size — 64. В ней сохранена MTP-голова для speculative decoding, которая может ускорять генерацию при использовании совместимого сервера. Модель оптимизирована для локального запуска на Apple Silicon через MLX без PyTorch и облачных сервисов. Сильными сторонами являются сочетание сниженного потребления памяти, reasoning-возможностей, поддержки инструментов и потенциально более быстрой генерации благодаря MTP. Ограничения включают необходимость экосистемы MLX и Apple Silicon, а также специального пакета mlx-optiq для загрузки архитектуры и MTP-компонента. README не указывает точный размер контекстного окна, подробные результаты тестирования или дополнительные языки. Модель распространяется по лицензии Apache-2.0.

uukuguy/speechless-mistral-six-in-one-7b — объединённая модель на основе шести дообученных моделей Mistral-7B, опубликованная пользователем uukuguy. Это плотный авторегрессионный трансформер Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; модель предназначена для генерации текста в диалогах, ответов на вопросы, рассуждений и помощи с кодом. В карточке перечислены исходные модели Dolphin, OpenOrca, Platypus, Samantha, CollectiveCognition и Zephyr; заявлены результаты на нескольких бенчмарках, но часть таблиц неполная, поэтому они не дают полной оценки качества. Модель принимает текст и генерирует текст. В метаданных указан английский язык и возможность работы с кодом. Репозиторий содержит веса safetensors, а лицензия обозначена как Llama 2. Модель унаследовала заявленное в карточке базовой Mistral-7B отсутствие механизмов модерации; сгенерированные ответы могут быть ошибочными или нежелательными.

Cerebrum-1.0-8x7b — языковая модель AetherResearch для генерации текста и решения задач, требующих рассуждений. Это дообученная версия Mixtral 8x7B с архитектурой sparse Mixture of Experts (MoE); модель обучали на небольшом наборе примеров с цепочками рассуждений и дополнительно выравнивали с помощью targeted RLHF. В метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для ответов на вопросы, математических и логических задач, программирования, творческой работы и мозгового штурма. Карточка сообщает о конкурентных результатах на отдельных тестах относительно Gemini 1.0 Pro и GPT-3.5 Turbo, однако оценки получены в разных режимах и условиях. Для диалога рекомендуется шаблон Alpaca с запросом описать ход решения. Модель работает с текстом и рассчитана на английский язык; лицензия — Apache 2.0. Результаты могут зависеть от формулировки запроса и выбранного шаблона.

Chimera-Apex-7B — экспериментальная диалоговая языковая модель, созданная объединением нескольких моделей семейства Mistral с помощью mergekit. Она содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы, генерации кода и широкого круга текстовых задач. В состав объединения входят Azazelle/Half-NSFW_Noromaid-7b, cognitivecomputations/dolphin-2.0-mistral-7b, Endevor/InfinityRP-v1-7B и FuseAI/FuseChat-7B-VaRM. README отмечает экспериментальный характер модели и возможность ошибок и унаследованных предубеждений; также упоминается возможность генерации NSFW-контента. Модель распространяется по лицензии Apache-2.0.

Codetulu 2 34B — языковая модель-помощник из серии Tulu, разработанная Allen Institute for AI (AI2). Это дообученная на смеси открытых, синтетических и созданных людьми данных модель CodeLlama-34B; в обучающую смесь вошли инструкции и диалоги, в том числе набор allenai/tulu-v2-sft-mixture. Модель предназначена для генерации текста и ответов на пользовательские инструкции, прежде всего на английском языке. Модель построена на архитектуре Llama с плотной causal language model, содержит 33,5 млрд параметров и поддерживает контекст до 8192 токенов. Для корректного форматирования входа карточка рекомендует заключать сообщение пользователя в формат инструкций модели и добавлять завершающий перевод строки. Модель не проходила этап RLHF-настройки на безопасные ответы и не использует фильтрацию ответов во время работы, поэтому может выдавать проблемный контент, особенно в ответ на соответствующие запросы. Распространяется по лицензии AI2 ImpACT Low-risk; перед использованием следует проверить её условия.

collinzrj/DeepSeek-R1-Distill-Llama-8B-abliterate — версия DeepSeek-R1-Distill-Llama-8B с применённой abliteration; автор карточки сообщает, что при оценке HarmBench итоговый показатель вырос с 0,35 у базовой модели до 0,68. Модель основана на DeepSeek-R1-Distill-Llama-8B, разработанной DeepSeek и дистиллированной на данных рассуждений, и предназначена для генерации текста в диалогах, решения задач и других сценариев, где нужны рассуждения языковой модели. Это плотная причинная языковая модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Метаданные указывают контекст до 131 072 токенов, поддержку китайского и английского языков и формат весов safetensors. Указана лицензия MIT. Карточка содержит сравнение по HarmBench, но не описывает методику abliteration и не приводит полные результаты по всем категориям.

Fabliq-8B-Agent-Reasoning — англоязычная модель-ассистент семейства Fabliq от LLM-OS-Models, дообученная на базе Fabliq-8B-Agent. Это причинная языковая модель архитектуры Lfm2MoeForCausalLM с MoE: около 8 млрд параметров всего и примерно 1 млрд активных на токен. Модель рассчитана на генерацию ответов, многошаговые рассуждения и агентные сценарии с вызовом инструментов, включая терминальные задачи. Модель расширяет возможности базовой агентной версии экспертными ответами на общие вопросы, задачами по математике, научному анализу, программированию, планированию и кибербезопасности. В README описаны двухэтапное обучение и использование дистиллированных данных; обучение включало 281 пример на втором этапе. Репозиторий указывает нативный контекст 128 000 токенов, однако обучение проводилось на последовательностях до 8 192 токенов, поэтому качество на длинном контексте не подтверждено. Модель ориентирована преимущественно на английский язык; поддержка других языков ограничена. Авторы отмечают риск переобучения на шаблонных данных и отсутствие выравнивания безопасности, поэтому для практического развёртывания нужны собственные защитные меры. Лицензия — Apache-2.0.

FuseMix-3.2-3B — объединённая языковая модель, опубликованная bunnycore и созданная с помощью mergekit методом passthrough на основе FuseAI/FuseChat-Llama-3.2-3B-Instruct и bunnycore/Llama-3.2-3B-General-lora_model. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров, рассчитанная на диалоговое взаимодействие и генерацию текста; заявленная длина контекста — 131 072 токена. Модель доступна в формате safetensors и использует библиотеку Transformers. Она подходит для диалогов, ответов на инструкции и генерации текста; описание базовой FuseChat также указывает на задачи математики и программирования. Языковые возможности с достаточной определённостью не перечислены, поэтому конкретные языки не указаны. Данных о лицензии в предоставленной карточке нет.

Карточка модели dealignai/Gemma-4-12B-it-qat-MXFP4-CRACK на Hugging Face совпадает с карточкой Ishowbackup/Gemma-4-12B-it-qat-MXFP4-CRACK, поэтому описание составлено по ней. Gemma 4 12B MXFP4 CRACK — мультимодальная модель на базе Google Gemma 4 12B Instruct, опубликованная dealignai. Это дообученная и квантизированная 4-битная версия с архитектурой Gemma4 Unified и гибридным скользящим и глобальным вниманием; автор заявляет поддержку изображений и аудио, многоязычность, рассуждения и генерацию кода. Модель предназначена для диалогов, ответов на вопросы, анализа изображений и аудио, многошаговых рассуждений и генерации кода; интерфейс также поддерживает вызов инструментов. README сообщает об удалении отказов и высокой готовности отвечать на запросы из вредоносных категорий HarmBench, при заявленном сохранении результата MMLU базовой модели. Эти показатели приведены автором и не являются независимой проверкой. Для запуска автор рекомендует vMLX с поддержкой Gemma 4 на Mac с Apple Silicon; стандартные mlx_lm и mlx_vlm, согласно README, поддерживают модель не полностью. Лицензия указана как Gemma; автор позиционирует публикацию как исследовательскую и возлагает на пользователей ответственность за соблюдение законов.

General-Reasoner-Qwen3-14B — языковая модель TIGER-Lab, дообученная на базе Qwen/Qwen3-14B-Base для развития рассуждений в широком круге областей. Она предназначена для ответов на вопросы и решения задач, требующих анализа, включая математику, программирование, физику, химию, финансы и гуманитарные дисциплины. Для обучения использованы более 230 тысяч проверяемых вопросов из веб-источников и модельный верификатор; README описывает подход как обучение без промежуточного этапа supervised fine-tuning. Модель имеет плотную архитектуру Qwen3ForCausalLM, 14 млрд параметров и контекст до 32 768 токенов; репозиторий содержит веса в формате safetensors. Поддерживаются чат и интерфейс вызова инструментов. Лицензия — Apache-2.0. Карточка сообщает о результатах на разнообразных бенчмарках рассуждений, но не приводит здесь подробных численных оценок.

Instella-3B-Long-Instruct — языковая модель AMD на 3 млрд параметров для диалогов и работы с длинным контекстом. Она основана на Instella-3B-Instruct и прошла дополнительное обучение: расширение контекста, дообучение на инструкциях и оптимизацию предпочтений. Архитектура — плотная авторегрессионная InstellaForCausalLM; модель принимает текст и поддерживает контекст до 131 072 токенов. Модель подходит для ответов на вопросы по длинным документам, анализа больших текстовых массивов, суммаризации и диалоговых сценариев, в том числе связанных с книгами и кодом. AMD сообщает о конкурентных результатах на бенчмарках длинного контекста по сравнению с рядом небольших моделей с открытыми весами. Многоязычные возможности не проверялись, поэтому надёжность работы на языках, отличных от основных данных обучения, не установлена. Модель опубликована в формате Safetensors под лицензией «other»; конкретные условия следует сверить с карточкой и файлами лицензии репозитория. Разработчик предупреждает о возможных фактических ошибках, токсичных, предвзятых или вредоносных ответах и не рекомендует применять модель в критически важных, медицинских или требующих высокой достоверности сценариях. Указанное в README ограничение на исследовательское использование само по себе не меняет категорию зрелости модели.

Hutgaecha дообучил диалоговую модель Kakao kanana-1.5-8b-instruct-2505 и объединил результат в отдельную модель. Это плотная авторегрессионная языковая модель семейства Llama с 7,5 млрд параметров и контекстом до 32 768 токенов. Она предназначена для генерации текста в диалоге; базовая модель также поддерживает программирование, математические задачи и интерфейс вызова инструментов. Модель принимает текстовые запросы и генерирует текстовые ответы. Для обучения использовались Unsloth и библиотека TRL от Hugging Face. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0, допускающей коммерческое использование при соблюдении её условий.

Llama 2 70B Chat — это диалоговая языковая модель семейства Llama 2, разработанная Meta. Данный репозиторий содержит её квантизированные файлы в формате GGUF, подготовленные TheBloke на основе оригинальной модели meta-llama/Llama-2-70b-chat-hf. Модель предназначена для генерации текста и ведения диалогов: ответов на вопросы, выполнения инструкций и создания связных текстовых ответов. Указан английский язык. Архитектура — Llama, размер — 70 миллиардов параметров, модальность — текстовая. Максимальный размер контекста в README не указан. Для работы используется специальный шаблон запросов Llama 2 Chat с системными инструкциями о полезных, безопасных и честных ответах. Формат GGUF поддерживает метаданные и специальные токены и совместим с llama.cpp, а также рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит для CPU+GPU-инференса, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством ответов; конкретные характеристики зависят от выбранного варианта. Репозиторий распространяется по лицензии Llama 2.

Карточка модели Openintelligent123/MiniCPM5-2B-CRACK-JANG_8M на Hugging Face совпадает с карточкой dealignai/MiniCPM5-2B-CRACK-JANG_8M, поэтому описание составлено по ней. dealignai выпустила MiniCPM5-2B-CRACK-JANG_8M — дообученную версию openbmb/MiniCPM5-2B в формате MLX для запуска на Apple Silicon через vMLX. Это плотная Llama-совместимая языковая модель с 2,2 млрд параметров и контекстом до 131 072 токенов; модель принимает и генерирует текст, поддерживает английский и китайский языки, режим рассуждения с включением и выключением, а также вызов инструментов через XML. Модель предназначена для диалогов, программирования, рассуждений и тестирования поведения при удалённом отказе от ответов: README сообщает, что механизм отказов удалён на уровне весов. В карточке приведены результаты MMLU и HarmBench для этой сборки. Модель поставляется в 8-битном MLX-бандле JANG8M и заявлена как бесплатная для macOS; лицензия — Apache-2.0. Это текстовая модель без поддержки изображений. Поскольку поведение отказов удалено, модель может выдавать ответы на опасные запросы; применяйте её с учётом этого ограничения.

MiniCPM5-2B GGUF — набор GGUF-квантизаций модели MiniCPM5-2B, разработанной OpenBMB и подготовленной для локального развертывания. Это плотная Llama-based модель примерно на 2 млрд параметров, предназначенная для генерации текста, программирования, рассуждений, работы с длинным контекстом и использования инструментов. Модель работает только с текстом и поддерживает английский и китайский языки. Исходная модель имеет нативный контекст до 131 072 токенов (128K). Доступны варианты квантизации Q2_K, Q3_K_M, Q4_0, Q4_K_S, Q4_K_M, Q5_K_M, Q6_K, Q8_0, IQ2_M, IQ3_M и IQ4_XS размером примерно от 0,97 до 2,68 ГБ. Файлы содержат встроенный chat template и рассчитаны на использование с актуальными сборками llama.cpp с поддержкой MiniCPM5. К сильным сторонам относятся небольшой размер, возможность локального запуска, поддержка очень длинного контекста и широкий выбор квантизаций для компромисса между качеством и требованиями к памяти. Поддержка вызова инструментов зависит от парсера и API-интеграции конкретного сервера, поэтому её необходимо проверять в целевом окружении. Модель распространяется по лицензии Apache-2.0.

EmbeddedLLM выпустила Mistral-7B-Merge-14-v0.3 — экспериментальную объединённую модель на базе Mistral-7B-v0.1. Она создана методом DARE TIES путём слияния 14 моделей Mistral-7B, обученных для диалога, следования инструкциям, работы с документами, математикой и кодом. Модель содержит 7,1 млрд параметров и принимает текст для генерации продолжений и ответов; максимальный контекст составляет 32 768 токенов. Модель рассчитана на генерацию текста, ответы на инструкции и диалоговые сценарии. Авторы приводят средний результат 69,66 в Open LLM Leaderboard и отмечают, что модель может потребовать дополнительной настройки для чата; в README также указана более сильная версия v0.4. Карточка ориентирована на английский язык. Репозиторий распространяется по лицензии Apache-2.0.

OpenHermes 7B — англоязычная модель для генерации текста, разработанная Teknium и дообученная на базе NousResearch/Llama-2-7b-hf. Она предназначена для выполнения инструкций, диалогов, ролевых сценариев, ответов на общие вопросы и задач по программированию. Модель содержит 6,6 млрд параметров, использует плотную архитектуру Llama и принимает контекст до 4096 токенов. При обучении использовался набор из 242 тысяч примеров, преимущественно сгенерированных GPT-4 и собранных из открытых наборов данных, включая инструкции общего назначения, ролевые диалоги и примеры по программированию. Обучение применяло упаковку примеров для ускорения процесса. Репозиторий распространяется в формате PyTorch по лицензии MIT. Карточка приводит результаты нескольких тестов, но они сами по себе не гарантируют качество ответов в конкретных сценариях.

Это сборка Phi-3 Mini-128K-Instruct в формате GGUF F16, опубликованная ProfessorF (Nick V. Flor); исходную модель разработала Microsoft. Это компактная языковая модель с 3,8 млрд параметров, рассчитанная на генерацию текста и диалог по инструкциям. Файлы GGUF предназначены для локального запуска через llama.cpp и совместимые интерфейсы, в том числе в условиях ограниченных вычислительных ресурсов и требований к низкой задержке. Модель рассчитана прежде всего на английский язык. Она подходит для ответов на вопросы, генерации текста, программирования, математики и логических рассуждений; окно контекста исходной модели составляет до 128 тыс. токенов. README описывает обучение и настройку исходной модели с помощью supervised fine-tuning и direct preference optimization. Репозиторий предоставляет 16-битные GGUF-файлы; лицензия — MIT. Модель может ошибаться, а её пригодность для конкретного применения требует проверки, особенно в сценариях с высокими рисками. Заявления о сильных результатах на бенчмарках относятся к описанию исходной модели Microsoft и не являются независимой оценкой этой сборки.

Qwen3-4B-MDOPSA — плотная языковая модель на 3,7 млрд параметров, созданная Tuwhy на основе Qwen/Qwen3-4B. Это многодоменный чекпойнт, дообученный методом On-Policy Self-Adaptation (OPSA) с акцентом на математику и программирование. Модель предназначена для диалогов, генерации текста и кода, а также решения математических задач; заявленный контекст составляет 40 960 токенов. Модель поставляется в формате BF16 Safetensors для Transformers и использует лицензию Apache 2.0, как и базовая модель. Карточка указывает чекпойнт на шаге 319 (320 обновлений оптимизатора). Данных о сравнительных результатах или конкретных ограничениях качества в карточке нет.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — языковая мультимодальная модель на базе Qwen3.5-9B, опубликованная trinityomnis. В README указано, что это результат многоэтапного дообучения и слияния нескольких моделей, выполненного автором совместно с Nightmedia; среди использованных базовых моделей названа DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель ориентирована на английский и китайский языки, а лицензия указана как Apache-2.0. Модель предназначена для общих задач, следования инструкциям, рассуждений, программирования, творческого письма, художественной литературы и ролевых сценариев. Она поддерживает режимы thinking/reasoning и instruct, заявлена как полностью uncensored и рассчитана на контекст до 256k токенов. Включена обработка изображений, но для работы с vision требуется отдельно загрузить совместимый файл mmproj и разместить его рядом с GGUF-файлом. Доступны обычные GGUF-квантизации и варианты MTP с multi-token prediction. Все варианты используют NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности; MTP-варианты дополнительно используют Q8_0 для MTP-тензоров и могут обеспечивать более высокую скорость при достаточном уровне token acceptance. В README приведены результаты на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где модель превосходит указанную базовую Qwen3.5-9B и в отдельных показателях сопоставима с более крупными моделями. При этом заявленные бенчмарки не гарантируют превосходство в любых задачах, а производительность MTP зависит от температуры, параметров генерации, приложения и оборудования; при низком token acceptance обычная квантизация может быть быстрее.