II.1Анализ требований и архитектура ПО

Josiefied-Qwen2.5-7B-Instruct-abliterated-v2 — диалоговая языковая модель, разработанная Гёкденизом Гюльмезом. Это дообученная и аблитерированная версия Qwen2.5-7B-Instruct, созданная на пользовательском наборе данных для более свободных ответов и меньшего числа отказов. Модель построена на архитектуре Qwen2 с плотной причинной языковой моделью и содержит около 7,1 млрд параметров; заявленный нативный контекст — 32 768 токенов. Модель предназначена для генерации текста в формате чата: она отвечает на запросы, помогает с письмом, программированием и математическими задачами, а также поддерживает многоязычные диалоги. В метаданных отмечены интерфейс вызова инструментов и поддержка английского, русского, китайского, немецкого, французского, испанского, португальского, итальянского, японского, корейского, вьетнамского, тайского и арабского языков. Карточка указывает лицензию Apache 2.0. Аблитерация ориентирована на снижение отказов, что позволяет использовать модель для запросов, которые обычные ассистенты могут отклонять; при этом поведение и безопасность ответов могут быть менее предсказуемыми. Автор рекомендует использовать модель на свой риск. Указанные в README характеристики базовой Qwen2.5, включая контекст до 128K токенов, не следует переносить на эту производную модель: для данного репозитория метаданные указывают нативный контекст 32 768 токенов.

K2-Horizon-0.9B-GGUF — компактная языковая модель семейства K2-Horizon, разработанная IFM. Репозиторий содержит версию модели в формате GGUF для запуска с помощью llama.cpp. Модель предназначена для генерации текста, решения математических и научных задач, программирования, следования инструкциям и сценариев с использованием инструментов. Это плотная decoder-only модель примерно с 0,9 млрд параметров и контекстным окном до 131 072 токенов. Для масштабирования RoPE применяется YaRN. Модель обучалась методом дистилляции знаний от нескольких специализированных учителей, ориентированных на математику и код, STEM-задачи и следование инструкциям. Поддерживаются английский и китайский языки. Тензоры хранятся в исходной точности BF16, а GGUF-файлы включают метаданные токенизатора и совместимый с llama.cpp шаблон чата. К сильным сторонам относятся небольшой размер, длинный контекст, открытость заявленных данных и рецепта обучения, а также специализация на рассуждениях, математике, коде и научных задачах. Для работы требуется версия llama.cpp с поддержкой архитектуры K2 Horizon; на момент публикации такая поддержка находилась в разработке, поэтому совместимость зависит от используемой сборки. Лицензия модели — Apache-2.0.

abenzerps/K2-Horizon-7B-MLX-4bit — это 4-битная конверсия модели IFM/K2-Horizon-7B для MLX. Исходная модель представляет собой плотную decoder-only модель примерно на 7 миллиардов параметров, разработанную IFM, а данный вариант подготовлен для использования в экосистеме MLX и MLX-LM. Модель предназначена для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Она поддерживает только текстовую модальность, без vision-проектора и файлов MTP. Заявленный нативный размер контекста исходной модели составляет 524 288 токенов (512K), язык в карточке указан как английский. Вес модели представлен в формате MLX safetensors с аффинным 4-битным квантованием и размером группы 64; общий размер файлов составляет около 5,06 ГБ. Квантование уменьшает требования к памяти и делает модель более удобной для локального запуска на совместимом оборудовании, однако README не приводит сравнений качества именно квантованной версии с исходной моделью. Для загрузки требуется MLX-LM и доверенный удалённый код, поскольку используется специальный загрузчик, сохраняющий grouped RMSNorm. Модель распространяется по лицензии Apache-2.0. README не содержит подробных сведений о результатах бенчмарков, аппаратных требованиях, скорости работы или ограничениях исходной модели, поэтому эти характеристики нельзя оценить точнее.

Keural-Cortex-8B-SFT-step903 — исследовательский контрольный чекпойнт модели Keural, разработанной MKD Co., Ltd. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, дообученная методом supervised fine-tuning на базе Qwen/Qwen3-8B. Модель рассчитана на диалоги на корейском и английском языках, ответы на вопросы, суммаризацию, перевод, генерацию кода, математические рассуждения, вызов инструментов и работу с длинными документами. Контекстное окно составляет до 65 536 токенов; доступны режимы с рассуждениями и без них, а веса опубликованы в формате safetensors для Transformers. Корейский язык — основной акцент обучения; также предусмотрены англоязычные задачи. Вызов функций поддерживается через совместимую с OpenAI схему, однако выбор инструментов ненадёжен. В README описаны воспроизводимые дефекты: модель может неверно представляться, отвечать пустым сообщением на короткий запрос без системной инструкции, ошибочно вызывать инструмент и иногда выдавать незакрытый маркер рассуждений. Для этого чекпойнта рекомендуется задавать системную инструкцию и передавать только уместные для запроса инструменты. Лицензия — Apache-2.0.

mlx-community/LFM2.5-1.2B-Thinking-bf16 — конверсия модели LiquidAI/LFM2.5-1.2B-Thinking в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm 0.30.4. Это плотная авторегрессионная языковая модель семейства LFM2 с 1,5 млрд параметров, предназначенная для генерации текста в диалоговом режиме и рассуждений. Она рассчитана на контекст до 128 000 токенов и локальный запуск на устройствах Apple Silicon через MLX. Модель подходит для диалогов и генерации ответов на английском, арабском, китайском, французском, немецком, японском, корейском и испанском языках. Базовая карточка описывает семейство как пригодное для рассуждений, агентных задач, извлечения данных и RAG. В репозитории указана лицензия other; конкретные условия следует сверять с лицензией базовой модели и карточкой автора.

Llama3.1-SuperDeepFuse — языковая модель на архитектуре Llama, созданная слиянием трёх моделей: Llama-3.1-SuperNova-Lite, DeepSeek-R1-Distill-Llama-8B и FuseChat-Llama-3.1-8B-Instruct. Автор README указывает базовую модель meta-llama/Llama-3.1-8B-Instruct и метод слияния model_stock. Модель содержит около 7,5 млрд параметров и поддерживает контекст до 131 072 токенов; опубликована в формате safetensors для Transformers. Модель предназначена для диалогов и генерации текста с упором на следование инструкциям, многошаговые рассуждения, математику и программирование. README заявляет многоязычную поддержку, однако в метаданных указан только английский язык. По карточке модель подходит для запуска на потребительских GPU, но её возможности уступают более крупным моделям. Модель всё ещё проходит оценку; результаты приведены лишь для части бенчмарков. Она может выдавать вводящие в заблуждение ответы, поэтому результаты следует проверять. Лицензия — условия использования Llama 3.1.

duyntnet/Llama-3.1-SuperNova-Lite-imatrix-GGUF — набор GGUF-квантизаций модели Llama-3.1-SuperNova-Lite, разработанной Arcee.ai на основе архитектуры Llama-3.1-8B-Instruct. Модель предназначена для генерации текста, выполнения инструкций и широкого спектра прикладных задач, где важны высокая производительность и сниженные требования к ресурсам. Она может использоваться через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель содержит около 8 млрд параметров и представляет собой дистиллированную версию Llama-3.1-405B-Instruct: при обучении использовались офлайн-логиты крупной 405B-модели и набор инструкционных данных, созданный с помощью EvolKit. Заявлены сильные стороны в следовании инструкциям, производительности на бенчмарках и адаптации к предметным областям при компактном размере. В README указан английский язык; другие языки, размер контекста и точные характеристики отдельных квантизаций не приведены. Репозиторий содержит именно квантизированные варианты в формате GGUF с использованием imatrix, поэтому фактические требования к памяти и качество зависят от выбранной версии. Лицензия обозначена как other, но её конкретные условия в README не раскрыты.

bunnycore/Llama-3.2-3B-Apex — диалоговая языковая модель, созданная разработчиком bunnycore слиянием нескольких предварительно обученных моделей через mergekit и методом Model Stock. В качестве базовой использована huihui-ai/Llama-3.2-3B-Instruct-abliterated; в слияние также вошли модели для разных навыков, рассуждений, научных задач, программирования и ролевого общения. Модель построена на архитектуре Llama с причинно-следственным языковым моделированием и содержит 3,2 млрд параметров. Она предназначена для генерации текста и диалоговых ответов; заявленная длина контекста — 131 072 токена. Метаданные также указывают интерфейс вызова инструментов. Данные о лицензии и поддерживаемых естественных языках в предоставленной карточке отсутствуют.

Это 4-битно квантованная версия инструкционной языковой модели Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на базе модели Meta Llama 3.2. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, составление и преобразование текста. Формат ориентирован на использование с экосистемой MLX; в метаданных также указана совместимость с библиотекой Transformers. Модель относится к текстовым, одномодальным моделям и содержит около 3 млрд параметров. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Ключевая особенность — 4-битное квантование, которое снижает требования к памяти и может облегчать локальный запуск, но потенциально ограничивает точность по сравнению с полноразмерной версией. Длина контекста и другие характеристики архитектуры в представленном README не указаны. Модель распространяется по Llama 3.2 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на безвозмездной основе при соблюдении её условий, включая передачу текста лицензии, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные требования.

Карточка модели dganochenko/llama-3-8b-chat на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

Gradient разработала инструктивную версию Llama 3 8B, расширив её контекстное окно с 8 тысяч до 262 144 токенов. Это плотная авторегрессионная языковая модель примерно на 7,5 млрд параметров, рассчитанная на диалог и генерацию текста с обработкой длинных входных материалов. Модель подходит для ответов на вопросы по объёмным документам, анализа длинных текстов и построения диалоговых помощников. В карточке указана поддержка английского языка; специальных отраслевых сценариев не заявлено. Расширенный контекст позволяет передавать модели существенно больше текста за один запрос, однако сам по себе не гарантирует точности извлечения фактов или качества ответов. Модель опубликована в формате Safetensors и использует лицензию Llama 3. Для развёртывания следует учитывать условия этой лицензии и оценивать остаточные риски безопасности для конкретного применения.

MaziyarPanahi/Llama-3-8B-Instruct-64k-GGUF — набор файлов модели в формате GGUF, созданный и квантизированный MaziyarPanahi на основе MaziyarPanahi/Llama-3-8B-Instruct-64k. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Из указанных данных известны размер 8B, принадлежность к семейству Llama 3, инструктивная настройка и заявленный контекст до 64 тысяч токенов у базовой модели. Поддерживаются варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством. Модель работает с текстом; сведения о языках и дополнительных модальностях не указаны. Формат GGUF ориентирован на эффективный локальный инференс и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другими совместимыми инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Ограничения включают возможные потери качества из-за квантизации, зависимость производительности от выбранного варианта и оборудования, а также отсутствие в README сведений о лицензии, результатах оценки и точных требованиях к ресурсам.

Llama-3-8B-Ultra-Instruct-GGUF — квантованные версии инструкционной языковой модели Llama-3-8B-Ultra-Instruct. Исходная модель связана с elinas/Llama-3-8B-Ultra-Instruct и базируется на Undi95/Meta-Llama-3-8B-Instruct-hf; квантования подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях, где важны автономность и умеренные требования к памяти. Это текстовая модель с примерно 8 млрд параметров, представленная в формате GGUF и совместимая с llama.cpp. Доступны варианты квантования от Q8_0 до IQ1_M размером примерно от 2,16 до 8,54 ГБ. Более качественными считаются Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4; низкобитные версии экономят память, но снижают качество. В README не указаны языки, размер контекста, поддержка других модальностей и результаты бенчмарков. Для работы следует использовать специальный chat-шаблон Llama 3 с ролями system, user и assistant. Модель подходит для локальных чат-ботов, генерации и преобразования текста, а также других задач следования инструкциям. Сильные стороны — широкий выбор квантований, возможность запуска на ограниченных ресурсах и сохранение высокого качества в старших вариантах. Ограничения связаны с потерями качества при сильном квантовании; варианты Q3 и ниже имеют заметно более низкое качество, а IQ1_M не рекомендуется. Лицензия указана как llama3.

LLaMA-Pro-8B — плотная авторегрессионная языковая модель семейства LLaMA, разработанная лабораторией Tencent ARC. Она расширяет LLaMA2-7B дополнительными Transformer-блоками и дообучена на корпусах кода и математики общим объёмом 80 млрд токенов; размер модели в метаданных указан как 8,2 млрд параметров. Модель предназначена для генерации текста и сочетания общих языковых навыков со знаниями программирования и математики. Модель подходит для генерации и продолжения текста, помощи с кодом, решения математических задач и сценариев, где требуется работать с естественным и программным языком. Указанное в метаданных контекстное окно — 4096 токенов. Карточка приводит результаты сравнительных бенчмарков и отмечает возможные трудности на узкоспециализированных задачах, а также риск предвзятости. Репозиторий содержит веса PyTorch в формате Safetensors; лицензия — Llama 2 Community License.

LongCat-2.0 — большая языковая модель семейства LongCat, представленная разработчиками модели. Это разреженная MoE-модель для генерации текста и диалогов; README указывает 1,6 трлн параметров и около 48 млрд активируемых на токен, тогда как метаданные репозитория указывают 42,1 млрд параметров. В карточке заявлены архитектура LongcatCausalLM и контекст 262 144 токена. Модель предназначена для программирования, понимания кода, редактирования репозиториев, автоматизированного выполнения задач и агентных сценариев. Она поддерживает интерфейс вызова инструментов; в README также описаны LongCat Sparse Attention для длинного контекста и ускорение декодирования с прогнозированием нескольких токенов. Вход и выход — текст. README сообщает о предварительном обучении более чем на 35 трлн токенов и развёртывании на GPU и NPU. Для GPU описана поддержка SGLang и рекомендована конфигурация из 16 H20; часть механизма Hierarchical Indexing при этом недоступна. Разработчик предупреждает, что модель не была специально спроектирована или всесторонне проверена для всех прикладных сценариев. Лицензия репозитория — MIT.

LongCat-Flash-Lite-Sparse-Uncensored-Heretic-Native-MTP-And-LSA-Preserved — дообученная версия LongCat-Flash-Lite-Sparse от независимого автора llmfan46. Это разговорная причинная языковая модель для генерации текста с архитектурой LongCat Flash Sparse и 4,6 млрд параметров. По метаданным, модель принимает контекст до 983 040 токенов; исходное семейство использует разреженное внимание LongCat Sparse Attention для эффективной работы с длинным контекстом. Модель изменена методом abliteration, чтобы снизить частоту отказов: в приведённом README сравнительном тесте отказов стало 9 из 100 против 99 из 100 у исходной модели. Она предназначена для диалогов, генерации текста и сценариев с длинными входными данными; README также ссылается на отдельную GGUF-версию. Заявленная лицензия — MIT. README предупреждает, что модель не оценивалась всесторонне для всех прикладных задач.

Magic-Dolphin-7b — языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная автором репозитория методом линейного слияния Dolphin 2.6 Mistral 7B DPO Laser, Hyperion 1.5 Mistral 7B и Merlinite 7B. Модель предназначена для генерации текста и ответов на технические вопросы; README сообщает о проверке нескольких весовых соотношений и приводит результаты бенчмарков рассуждения, знаний и решения задач. Для общения используется шаблон Alpaca, контекст составляет 32 768 токенов. Модель принимает текст и выдаёт текст. В метаданных отмечена поддержка генерации кода, однако сведения о конкретных языках программирования или естественных языках не приведены. Репозиторий содержит веса Safetensors, а README указывает на отдельные GGUF-квантизации. Лицензия — Apache-2.0. Автор описывает релиз как эксперимент по объединению моделей; следующая версия, Excalibur-7b, уже выпущена.

marin-8b-instruct-i1-GGUF — это GGUF-квантизированная версия языковой модели marin-8b-instruct, разработанной сообществом marin-community и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста и выполнения инструкций на английском языке. В основе лежит модель размером 8 миллиардов параметров; точные сведения об архитектуре и размере контекстного окна в README не указаны. Обучение или дообучение проводилось с использованием наборов данных для программирования, рассуждений, математики, естественных рассуждений и диалоговых взаимодействий, включая AceCode-87K, Bespoke-Stratos-17k, dolphin-r1, Natural Reasoning, OpenThoughts-114k-math и smoltalk. Основное преимущество — доступность множества вариантов GGUF-квантизации с разным соотношением размера, скорости и качества, что позволяет запускать модель на устройствах с ограниченными ресурсами. При этом низкобитные варианты могут заметно терять в качестве; в README отдельно отмечены ограничения некоторых конфигураций, а рекомендуемым назван вариант i1-Q4_K_M. Модель распространяется по лицензии Apache-2.0.

Matter-0.1-7B-boost-DPO-preview — диалоговая языковая модель на архитектуре Mistral, разработанная 0-hero. Это версия Matter 7B Boost, дообученная методом DPO на наборе Matter, составленном из более чем 35 датасетов и охватывающем свыше 6 млрд токенов. Модель содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Модель предназначена для диалоговой генерации текста и работы в формате ChatML. В README также заявлена поддержка вызова функций, позволяющая использовать её в приложениях с инструментами. Метаданные указывают английский язык; модель опубликована в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Возможные ограничения включают ошибки и выдуманные ответы, характерные для генеративных языковых моделей; качество вызова функций зависит от корректного форматирования запросов и обработки специальных токенов.

Это квантизированная версия Meta-Llama-3.1-70B-Instruct в формате GGUF, подготовленная пользователем MaziyarPanahi на основе исходной модели Meta-Llama-3.1-70B-Instruct, разработанной Meta (meta-llama). Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Модель относится к семейству Llama 3.1 и имеет размер 70B; в README указаны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Поддерживаются текстовые входы и выходы, а заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Формат GGUF совместим с llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другими инструментами локального инференса. Ключевые преимущества — выбор уровней квантования, возможность локального использования и поддержка GPU в ряде совместимых инструментов. Ограничения и требования к лицензии, точный размер контекста, архитектурные детали, качество на отдельных задачах и необходимые аппаратные ресурсы в README не указаны. Условия лицензирования также не приведены, поэтому их следует уточнить в материалах исходной модели Meta-Llama-3.1-70B-Instruct.

FriendliAI публикует вариант Meta Llama 3 70B Instruct с весами в формате FP8 для более эффективного инференса при сохранении высокой точности. В основе — авторегрессионный трансформер Llama с плотной архитектурой и Grouped-Query Attention; модель содержит 69,5 млрд параметров и принимает текст, генерируя текст и код. Контекст — до 8192 токенов. Модель предназначена для диалоговых ассистентов и генерации текста на английском языке, в том числе для коммерческих и исследовательских сценариев. FP8 поддерживается на GPU NVIDIA Ada, Hopper и Blackwell. Модель разработана Meta, а FP8-версия опубликована FriendliAI; веса представлены в safetensors. Использование регулируется специальной коммерческой лицензией Meta Llama 3.

Карточка модели mattshumer/Meta-Llama-3-8B-Instruct-LongTest на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

MiMo-V2.6-Distill-Qwen-9B-GGUF — это квантизированная версия модели MiMo-V2.6-Distill-Qwen-9B, разработанной XiaomiMiMo и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 9 млрд параметров и предназначена для локального запуска в задачах генерации текста, программирования, агентских сценариев и использования инструментов. Также заявлена поддержка изображений, но для работы с ними требуется отдельный файл mmproj. Модель поддерживает текстовые и графические входные данные, однако сведения о языках и размере контекстного окна в README не указаны. Доступны варианты с разными уровнями квантизации — от BF16 и Q8_0 до более компактных Q3 и IQ-форматов. В качестве компромисса между качеством и требованиями к памяти рекомендуется Q4_K_M размером около 5,84 ГБ; варианты Q6 и Q8 обеспечивают более высокое качество, но требуют больше памяти. Поддержка speculative decoding отсутствует, при этом использовалась imatrix-квантизация. Для корректной работы необходимо применять указанный шаблон промпта на основе специальных токенов ChatML; модель также поддерживает передачу определений инструментов в системном сообщении. README не содержит сведений о лицензии, точной архитектуре, языковом охвате и контекстном окне, поэтому эти характеристики нельзя подтвердить.

MiMo-V2.6-Distill-Qwen-9B GGUF — набор общественных GGUF-квантизаций модели Xiaomi MiMo, основанной на 9B-чекпойнте MiMo-V2.6-Distill-Qwen-9B от Xiaomi MiMo и архитектуре Qwen3.5-9B. Пакет предназначен для запуска через llama.cpp и включает квантизированные файлы языковой модели, а также совместимый BF16 multimodal projector для обработки изображений. Модель ориентирована на программирование, универсальные агентные задачи, visual coding, кибербезопасность, использование инструментов и мультимодальные сценарии с изображениями. Указана гибридная архитектура Qwen3.5 и нативный контекст до 262 144 токенов, однако практическая длина контекста зависит от выбранной квантизации, настроек KV-cache, среды выполнения и доступной памяти. Поддержка видео данным релизом не заявлена; сведения о языках в карточке явно не указаны, хотя калибровочные данные включают английский, китайский, код, tool- и agent-тексты. Доступно несколько вариантов квантизации с размером примерно от 1,97 до 9,53 GB. Q8_0 обеспечивает наибольшую близость к BF16, а IQ4_XS и Q5_K_S обозначены как компромисс между требованиями к памяти и сохранением точности. Низкобитные варианты Q2, IQ2, IQ1 и Q1 имеют заметно худшую fidelity и рекомендованы только для экспериментального использования. Приведённые измерения отражают совпадение следующего токена на ограниченной выборке, а не качество решения задач, программирования, tool use или визуального понимания. Лицензия указана как other; конкретные условия upstream-лицензии не определены.

mlx-community/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-OptiQ-4bit — это MLX-квантизированная версия модели GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking, которая представляет собой reasoning fine-tune архитектуры MiniCPM5-1B примерно на 1 млрд параметров. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения задач с рассуждениями, программирования, tool calling и function calling. Заявлена поддержка английского и китайского языков, а формат работы ориентирован на Apple Silicon через MLX. Основная точность квантования — 4-bit, при этом чувствительные слои хранятся в 8-bit. Всего квантизировано 169 слоёв: 67 в 8-bit и 102 в 4-bit; эффективная разрядность составляет 5,805 бит на вес. Размер весов уменьшен с 2,0 ГБ в bf16 до 874 МБ, что делает модель удобной для локального запуска на компьютерах Apple Silicon. При генерации модель формирует рассуждения внутри тегов <think>...</think>, поэтому ей требуется достаточно большой лимит max_tokens. К сильным сторонам относятся малый размер, локальная работа без облачных сервисов и PyTorch, поддержка MLX-native serving, смешанной точности KV-cache и LoRA fine-tuning через mlx-optiq. При этом для данной квантованной версии не проводились task-бенчмарки, а распределение разрядности перенесено с базовой модели MiniCPM5-1B и может несколько отличаться по оптимальности для этого fine-tune. В карточке указана лицензия Apache-2.0; также рекомендуется учитывать условия лицензии исходной модели.

MiniCPM5-1B-SFT — контрольная точка модели серии MiniCPM5 от OpenBMB, предназначенная для локального запуска на устройствах с ограниченными ресурсами. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM: в метаданных указано 837,6 млн параметров, а карточка сообщает о 24 слоях и 16 головах запросов и 2 головах ключей и значений. Модель принимает текст и выдаёт текст; контекст — до 131 072 токенов. Карточка модели указывает английский и китайский языки. SFT-чекпойнт предназначен для локальных помощников, генерации кода, агентных сценариев с вызовом инструментов и сложных рассуждений. В серии предусмотрены режимы ответа с рассуждением и без него; этот вариант обучен только методом SFT и предшествует этапам RL и OPD. Поддерживаются запуск через Transformers, vLLM и SGLang, а также дообучение с помощью ресурсов проекта. Заявления карточки о сравнительных результатах относятся к указанному в ней набору моделей и бенчмарков. Модель распространяется под лицензией Apache-2.0. Она может выдавать неточные, предвзятые или небезопасные ответы; результаты следует проверять, особенно перед применением в ответственных сценариях.

MiniCPM5-2B-heretic — децензурированная версия языковой модели openbmb/MiniCPM5-2B, созданная пользователем RACER IS OP с применением Heretic v1.4.0. Модель относится к классу примерно 2B параметров и предназначена для генерации текста, диалогов, локальных агентных систем, вызова инструментов, написания кода и задач с длинным контекстом. Она поддерживает режимы Think и No-Think, а также может работать на пользовательских GPU, CPU и устройствах Apple Silicon через GGUF-квантизации. Изменения выполнены методом directional ablation («abliteration»): целевые направления отказа подавляются редактированием весов в attention output и MLP down-projections без дообучения. По данным README, это позволило снизить число отказов с 99 до 4 на 100 тестовых запросов при KL divergence 0,0646 относительно исходной модели, сохранив её знания, следование инструкциям, возможности работы с инструментами, кодом и рассуждениями. Заявлены английский и китайский языки; архитектура MiniCPM5 совместима с llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang, причём для вызова функций рекомендован SGLang. Главное преимущество модели — малый размер и широкий выбор GGUF-квантизаций, что упрощает локальный запуск на потребительском оборудовании. Ограничение заключается в намеренном подавлении защитных отказов: модель может отвечать на запросы, от которых исходная версия отказывалась, поэтому её применение требует самостоятельных мер безопасности и контроля. Модель распространяется по лицензии Apache-2.0.

amd/MiniMax-M2.7-MXFP4 — текстовая языковая модель MiniMax M2.7, разработанная MiniMax и оптимизированная AMD. Модель принимает текст и генерирует текст, предназначена для задач генерации и обработки естественного языка, включая сценарии с рассуждениями и вызовом инструментов. Указан английский язык; дополнительные языки в карточке не заявлены. Модель реализована на архитектуре MiniMaxM2ForCausalLM и представляет собой статически квантизованную версию amd/MiniMax-M2.7-BF16. Веса и активации квантизованы в формате OCP MXFP4 с использованием AMD-Quark: для весов применяется статическая, а для активаций — динамическая квантизация. Поддерживаются аппаратные платформы AMD MI350 и MI355, ROCm 7.2.1, PyTorch 2.10.0 и Linux. Для инференса указаны SGLang и vLLM; конфигурация также поддерживает tensor parallelism, выбор инструментов и парсеры MiniMax для вызова инструментов и рассуждений. Размер модели и длина контекста не указаны. Сильной стороной является существенное снижение точности представления при сохранении качества: на GSM8K модель получила 91,89 против 91,81 у исходной MiniMaxAI/MiniMax-M2.7, что соответствует восстановлению 100,09% результата. Ограничения включают зависимость от совместимого оборудования AMD и программного стека, а также отсутствие данных о качестве на других задачах, полном наборе языков и контекстном окне. Лицензия модифицированная MIT с некоммерческим использованием; коммерческое использование требует предварительного письменного разрешения MiniMax и соблюдения дополнительных условий.

Ministral-3-14B-Instruct-2512-textonly-NVFP4 — текстовая производная модели Ministral-3-14B-Instruct-2512-BF16 от Mistral, подготовленная сообществом ppetermann. Модель предназначена для генерации текста и использования в формате instruct, включая развёртывание сервиса вывода через vLLM и OpenAI-совместимый API. Модель содержит только языковую часть исходного мультимодального чекпойнта: поддержка изображений и другие функции компьютерного зрения удалены. Она основана на архитектуре MistralForCausalLM и имеет заявленный размер исходной модели 14B параметров. Веса полностью квантизованы в формате NVFP4 и сохранены в формате compressed-tensors, что ориентировано на эффективное выполнение при поддержке соответствующего аппаратного и программного стека. README не указывает языки, размер контекста и точные характеристики качества. Сильными сторонами являются уменьшенный формат хранения и ориентация на производительное серверное инференс-развёртывание; автор сообщает около 21 токена в секунду на запрос при работе через vLLM на машине с GB10. Ограничения включают отсутствие мультимодальности и зависимость от совместимости с vLLM и NVFP4. Модель распространяется по лицензии Apache-2.0.

Mira — разработанная SmilyAI разговорная языковая модель для генерации текста, дообученная на базе Nova-2-Large. В карточке указана линия происхождения от Qwen3-14B через слияние DARE-TIES и Nova-2-Large с последующим LoRA-дообучением. Модель имеет плотную архитектуру семейства Qwen3 и около 14,8 млрд параметров; заявленная длина контекста — 40 960 токенов. Для работы описаны Transformers и вычисления в bfloat16. Модель предназначена для программирования, математики, многошаговых рассуждений, технических объяснений и общего диалога. Она может помогать отлаживать и рецензировать код, разбирать задачи и объяснять решения; в карточке также описан необязательный игровой режим критики кода. Заявлен разговорный стиль с дружелюбной и энергичной подачей. Основной язык в метаданных — английский. Mira может ошибаться, выдавать неполный или некорректный код, допускать математические ошибки и уверенно сообщать неверные сведения; рассуждения не гарантируют правильности, поэтому важные результаты следует проверять. Состав обучающих данных и параметры LoRA не раскрыты. Лицензия обозначена как «other», поэтому конкретные условия использования следует уточнить в репозитории модели.