II.7DevOps, облако и эксплуатация IT-систем

Это 5-битная квантованная версия языковой модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленная командой LM Studio с помощью mlx_lm для работы на компьютерах Apple Silicon. Базовая модель создана NVIDIA; карточка представляет её как разговорную модель с интерфейсом вызова инструментов. Модель предназначена для генерации текста в диалогах, рассуждений, программирования и агентных приложений. Метаданные указывают поддержку английского, испанского, французского, немецкого, японского и итальянского языков. Квантование уменьшает точность весов до 5 бит и ориентировано на запуск через MLX. Репозиторий распространяется по лицензии, обозначенной как other; конкретные условия следует сверить с файлами лицензии модели. Как и другие генеративные модели, она может выдавать неточную, вредную или неподходящую информацию.

Модель mlx-community/NVIDIA-Nemotron-3-Nano-4B-BF16 — версия NVIDIA Nemotron 3 Nano, подготовленная сообществом mlx-community для запуска через MLX на устройствах Apple. В карточке указано, что она конвертирована из nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16 с помощью mlx-lm 0.31.1; метаданные классифицируют связь как дообучение и указывают архитектуру NemotronHForCausalLM. Репозиторий содержит веса safetensors, а размер модели составляет 6,4 млрд параметров. Модель предназначена для генерации текста в диалоге и может использоваться для ответов на вопросы, программирования, рассуждений и агентных сценариев с интерфейсом вызова инструментов. Поддерживает контекст длиной до 262 144 токенов и ориентирована на английский язык. Для использования требуется библиотека mlx-lm; лицензия указана как other, поэтому условия следует сверить с лицензией базовой модели и репозитория перед применением.

OpenAi-GPT-oss-20b-abliterated-uncensored-NEO-Imatrix-gguf — модель, опубликованная DavidAU на основе huihui-ai/Huihui-gpt-oss-20b-BF16-abliterated. Это языковая модель для генерации текста, диалогов, программирования, решения задач, рассуждений, мозгового штурма и творческих сценариев. Модель позиционируется как uncensored и abliterated: из базовой версии были удалены или ослаблены отказы от ответов. Модель относится к архитектуре Mixture of Experts (MoE), имеет заявленный размер 20B и использует 24 эксперта. Она ориентирована прежде всего на английский язык, поддерживает текстовый ввод и вывод и заявлена для контекста до 128k токенов. Распространяется в формате GGUF с вариантами квантования IQ4_NL, Q5_1 и Q8_0, включая версии с одной, двумя или тремя Imatrix-датасетами для оптимизации квантования. Варианты NEO и NEO-CODE ориентированы на общее применение, код и творческие задачи. К сильным сторонам относятся сочетание возможностей для программирования, общего диалога, рассуждений и творческой генерации, а также возможность выбрать баланс качества, скорости и размера через разные варианты квантования. Автор отмечает, что Q5_1 может быть стабильнее IQ4_NL в некоторых сценариях, тогда как IQ4_NL иногда даёт более свободные и непредсказуемые ответы. Ограничением является возможная неровность поведения и нестабильность, связанная с abliteration; модель может генерировать нежелательный или рискованный контент из-за отсутствия стандартных отказов. README не приводит системных требований и результатов независимого бенчмаркинга. Модель распространяется по лицензии Apache-2.0. Условия использования uncensored-версии следует учитывать отдельно от технической лицензии при применении в продуктивных системах.

QuantFactory/Qwen2.5-0.5B-Instruct-GGUF — квантованная версия Qwen2.5-0.5B-Instruct, подготовленная QuantFactory с использованием llama.cpp на основе модели Qwen Team, разработанной Alibaba Cloud. Модель предназначена для генерации текста, чат-ботов, следования инструкциям, работы со структурированными данными и вывода в формате JSON, а также для задач программирования и математики. Это каузальная языковая модель на архитектуре transformers с RoPE, SwiGLU, RMSNorm, смещениями в attention QKV и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, включая 0,36 млрд параметров без учёта эмбеддингов, 24 слоя и Grouped-Query Attention с 14 головами Q и 2 головами KV. Поддерживаются контекст до 32 768 токенов и генерация до 8 192 токенов. Модель мультиязычная и заявлена для более чем 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся небольшой размер, улучшенное следование инструкциям, обработка длинных текстов, структурированных данных, программирования и математики. К ограничениям относятся меньшая ёмкость по сравнению с крупными моделями и отсутствие заявленных возможностей работы с изображениями или другими модальностями. Модель распространяется по лицензии Apache-2.0.

Карточка модели Fbjfhvgv/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Карточка модели ripgermany/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Карточка модели Sonorix/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Карточка модели Zidane29/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

NVIDIA Qwen3-14B NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3-14B, разработанной Alibaba и подготовленной с помощью NVIDIA TensorRT Model Optimizer. Модель предназначена для генерации текста и может использоваться в AI-агентах, чат-ботах, RAG-системах и других приложениях на основе искусственного интеллекта. Модель построена на архитектуре Transformers и содержит около 14,8 млрд параметров. Она принимает и генерирует текстовые последовательности, поддерживает контекст до 131K токенов и использует квантизацию весов и активаций линейных операторов в трансформерных блоках до формата FP4. Модель подготовлена для инференса через TensorRT-LLM, оптимизирована для систем с GPU NVIDIA, включая микроархитектуру Blackwell, и рассчитана прежде всего на Linux. Версия Model Optimizer — 0.35.0. К сильным сторонам относятся уменьшенное представление модели за счёт FP4-квантизации, поддержка длинного контекста и возможность производительного развёртывания на совместимом оборудовании NVIDIA. Ограничения включают зависимость от TensorRT-LLM и совместимой NVIDIA-платформы; сведения о языках, результатах тестирования, обучающих данных и характеристиках качества в карточке не раскрыты. Использование регулируется лицензией Apache 2.0 и допускается для коммерческих и некоммерческих задач.

Qwen3.5-text-4B-bnb-4bit — текстовая языковая модель, разработанная techwithsergiu на базе Qwen3.5-text-4B, производной от Qwen3.5-4B команды Qwen. Модель предназначена для генерации и обработки текста, диалоговых сценариев и последующего дообучения с использованием LoRA или QLoRA. Поддерживает режимы с включённым и выключенным рассуждением перед ответом. Модель содержит текстовый backbone размера 4B и использует 4-битную BNB NF4-квантизацию с double quantization; вычисления выполняются в bfloat16, а веса lm_head сохранены в bf16 для стабильности и качества вывода. Визуальная башня удалена, поэтому модель принимает только текст и не поддерживает обработку изображений. Ключевое преимущество — сниженное потребление видеопамяти: заявлено около 3,12 ГБ против 9,32 ГБ у исходной f16-модели. Контекстное окно и перечень поддерживаемых языков в README не указаны. Модель особенно ориентирована на текстовое LoRA-дообучение с Unsloth, TRL и PEFT; такая конфигурация проверена на видеокарте RTX 3070 с 8 ГБ памяти. Ограничения связаны с отсутствием мультимодальности, а документация по полноценному LoRA-дообучению на момент публикации ещё не завершена. Модель распространяется по лицензии Apache-2.0.

RobinsonLabs Qwen3.6-35B-A3B-abliterated-GGUF — набор квантованных моделей в формате GGUF, созданный Robinson Labs на базе Qwen/Qwen3.6-35B-A3B. Это разреженная Mixture-of-Experts-модель архитектуры qwen35moe с 35 млрд параметров и бюджетом около 3 млрд активных параметров на токен, предназначенная для генерации текста и запуска в совместимых локальных inference-движках. В модели сохранён Multi-Token Prediction (MTP/NextN), благодаря чему поддерживается спекулятивное декодирование в runtime, которые умеют с ним работать. Сведения о длине контекста и языках в README не указаны. Модель подвергнута abliteration — ортогонализации весов для снижения жёстких отказов на запросы о взрослом и творческом контенте. Согласно описанию, базовые защитные механизмы от реального вреда намеренно сохранены; на внутренних тестах модель получила 5/5 по набору задач на рассуждение, код, математику, фактические ответы и следование инструкциям, а также 10/10 по проверенному набору детской безопасности. При этом авторы подчёркивают, что наборы тестов невелики и не гарантируют сохранность всех защитных механизмов. Модель помечена как предназначенная не для всех аудиторий и требует ответственного использования. Основные ограничения связаны с квантованием: доступные варианты отличаются размером и потенциальным компромиссом между качеством и требованиями к памяти, однако конкретные параметры каждого варианта следует уточнять по выбранному файлу. Лицензия унаследована от базовой модели и указана как Apache-2.0.

Карточка модели miss-t/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 на Hugging Face совпадает с карточкой lactroiii/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, поэтому описание составлено по ней. Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 — дообученная методом abliteration версия мультимодальной модели Qwen3.8-27B от Alibaba, опубликованная lactroiii. Это плотная модель на 27 млрд параметров в формате BF16 на базе архитектуры Qwen3.5; она принимает текст и изображения и генерирует текст. В README описана проверка на NVIDIA H200 через vLLM, включая работу с изображениями, режим рассуждений и вызов инструментов. Для обслуживания автор проверял контекст 16 384 токена и указывает, что базовое окно модели достигает 262 144 токенов. Модель предназначена для диалогов и инструкций, рассуждений, программирования, анализа изображений, вызова инструментов, творческого письма и исследований безопасности и выравнивания. Abliteration уменьшает склонность модели отказывать и делает ответы более прямыми; автор сообщает о сохранении связности ответов, но это не является независимой оценкой качества. Модель может выдавать опасный, незаконный или откровенный контент и не должна использоваться в сценариях высокого риска без внешних мер безопасности. Лицензия — Apache-2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — модель семейства Qwen3.8 с 27 млрд параметров, представленная в виде GGUF-квантовок. По README, это многоэтапная fine-tune-модель и результат объединения нескольких обученных версий, созданная с использованием Unsloth, методов Cold Fusion и Fable Fusion. В репозитории доступны обычные GGUF-варианты и варианты с MTP, включая 4- и 8-битные квантовки. Заявлены поддержка английского и китайского языков; максимальный размер контекста не указан. Метаданные также содержат тег image-text-to-text, однако подробности мультимодальных возможностей не приведены. Модель ориентирована на широкий спектр сценариев: решение задач и рассуждение, программирование, творческое письмо, художественную прозу, ролевые диалоги и другие универсальные задачи. Основной заявленный акцент — повышение качества при одновременном сокращении объёма внутренних thinking-токенов, что должно уменьшать задержку и расход вычислительных ресурсов. Автор README заявляет превосходство над базовой Qwen3.8-27B и рядом других моделей по семи ключевым бенчмаркам, а также высокие результаты ARC-C и ARC-E, но эти утверждения требуют независимой проверки. К сильным сторонам относятся ориентация на потребительское оборудование, наличие разных уровней квантования, поддержка MTP и заявленное сочетание подробных ответов с более быстрым выводом. Ограничения включают отсутствие в README точных сведений о контекстном окне, архитектурных деталях, системных требованиях, качестве мультимодальной обработки и воспроизводимых результатах тестов. Модель распространяется по лицензии Apache-2.0.

Qwen-7B 是阿里云开发的通用预训练大语言模型，采用稠密 Transformer 架构，使用 RoPE、SwiGLU 和 RMSNorm。README указывает размер 7 млрд параметров, тогда как метаданные Hugging Face сообщают 11,4 млрд; поэтому фактический размер в описании не приводится. Модель обучена более чем на 2,4 трлн токенов из веб-текстов, книг, кода, математических и других материалов, а словарь токенизатора tiktoken насчитывает более 150 тысяч токенов. Метаданные указывают контекст до 32 768 токенов и формат safetensors. Модель предназначена для генерации и продолжения текста, а также может служить основой для приложений на китайском, английском и других языках, включая кодовые и математические сценарии. Она не является чат-версией Qwen-7B-Chat: в README отдельно отмечено, что чат-модель обучена с применением выравнивания. Среди описанных характеристик — сильные результаты в ряде китайских и английских оценок и широкое покрытие токенизатора; для практического использования требуется совместимое окружение PyTorch и Transformers, а ускорение на GPU может требовать CUDA. Лицензия в метаданных обозначена как other, конкретные условия следует проверять на странице репозитория.

Raptor 0.6 — GGUF — это квантизированная версия модели Raptor 0.6, разработанная Osaurus AI на базе XHToken/Spark-X2.5-4B. Модель предназначена для генерации текста, рассуждений, агентских сценариев и использования инструментов, включая работу с файлами и вызов функций. Заявлена поддержка английского и китайского языков, а формат GGUF ориентирован на локальный запуск, в частности в Osaurus for Windows и совместимых рантаймах семейства llama.cpp. Модель содержит около 4 млрд параметров и использует архитектуру spark2_5: объединённый q_k_v_proj, sigmoid-gate на выходе attention, GELU-MLP, RMSNorm без сдвига, а также комбинацию sliding и full attention с окном 512 токенов. В репозитории доступны варианты Q6_K размером около 3,38 ГБ и Q4_K_M размером около 2,60 ГБ; оба созданы с importance matrix для снижения потерь при квантизации. Поддерживаются встроенное рассуждение с отделением reasoning_content от основного ответа и преобразование вызовов инструментов в стандартный OpenAI JSON. Сильными сторонами являются возможность локального запуска, небольшой размер, поддержка reasoning и tool use, а также калибровка imatrix; для Q6_K заявлено совпадение top-1 с исходными bf16-весами на уровне 98,27%. Ограничение — необходим runtime с поддержкой архитектуры spark2_5: стандартные версии llama.cpp, Ollama и LM Studio без такой поддержки эти файлы не загрузят. Для работы рекомендуется llama.cpp с параметром --jinja; при сложных запросах рассуждения могут потребовать более 8192 выходных токенов, которые учитываются вместе с входом в пределах контекстного окна. Лицензия — Apache-2.0.

Карточка модели Zhixianvsdgdsg/readbook-hf на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Signal 3.8 27B — дообученная AgentionAI мультимодальная модель на архитектуре Qwen3.5 с 27 млрд параметров, предназначенная для более краткой и быстрой генерации ответов. По данным разработчика, при сохранении качества на их проверочных наборах модель сокращала число токенов в ответах и рассуждениях; после обновления весов 13 сентября 2026 года эти показатели ещё не были повторно измерены. Изменена только матрица выходного слоя lm_head, остальные веса, включая vision encoder, проектор и MTP draft head, совпадают с Qwen/Qwen3.8-27B. Модель поддерживает диалог, анализ изображений и интерфейс вызова инструментов. Её можно использовать для лаконичных ответов на вопросы, программирования, рассуждений и задач с изображениями; автор приводит настройки запуска с контекстом до 65 536 токенов. Для стабильной краткой генерации рекомендуются параметры семплирования и кэширования, указанные в карточке модели. Модель распространяется в формате BF16 через Transformers и совместима с vLLM, SGLang и конвейерами квантизации. Лицензия — Apache-2.0. Приведённые сравнения качества и скорости относятся к конкретным тестам разработчика; измерения токеновой экономии для обновлённых весов ещё не завершены.

Swift-Qwen3.8-27B-GGUF — квантованная GGUF-версия модели Swift-Qwen3.8-27B, разработанной UkisAI на базе Qwen3.8-27B. Модель ориентирована на задачи рассуждений, включая общее reasoning, математику, следование инструкциям и программирование. В метаданных также указан сценарий image-text-to-text, однако подробности о поддерживаемых визуальных входах в README не приведены. Ключевая особенность модели — сокращение числа thinking-токенов: по заявлению разработчика, их требуется на 58,3% меньше при потере качества менее 1% и ускорении примерно в 1,95 раза на ряде задач. В опубликованных сравнениях с базовой моделью результаты Swift близки к исходным на GPQA-Diamond, MMLU-Pro, C-Eval, IFBench и математических бенчмарках. Размер модели — 27B параметров; формат GGUF предназначен для использования с экосистемой llama.cpp и совместимыми средствами запуска. Сведения о контекстном окне и языках в README отсутствуют. Модель может быть полезна там, где важны качество рассуждений, экономия вычислений и сокращение задержки ответа. Ограничения включают некоторое снижение результатов на отдельных тестах, а также отсутствие в предоставленных данных подробных требований к оборудованию и характеристик квантования. Указана лицензия swift-open-license-1.0; README также содержит ссылку на условия лицензии и упоминает enterprise-лицензирование, поэтому перед коммерческим использованием следует проверить полный текст условий.

Карточка модели RRavens/Test на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Карточка модели Vladimirval/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Карточка модели jinreiyu/cloned-Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия модели DeepSeek-V3.1-Terminus, подготовленная пользователем bartowski на основе оригинальной модели deepseek-ai. Квантизация выполнена с помощью llama.cpp версии b6550 с использованием метода imatrix и калибровочных наборов данных. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. Доступны варианты квантизации от Q8_0 до Q2_K, различающиеся размером файла и качеством: старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти. Рекомендуемыми автор считает, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. В README не указаны архитектура, точный размер исходной модели, поддерживаемые языки, контекстное окно, мультимодальные возможности и формат промптов; для последнего рекомендуется обратиться к странице оригинальной модели. Лицензия также не указана, поэтому условия использования следует уточнять в репозитории исходной модели DeepSeek-V3.1-Terminus.

DistilabelCerberus-7B-slerp — слитая модель для генерации текста на основе Mistral, созданная с помощью mergekit из DistilabelBeagle14-7B и OpenHermes-2.5-Mistral-7B. В конфигурации применён метод слияния slerp с разными весами для слоёв self-attention и MLP; модель содержит 7,1 млрд параметров и имеет контекст до 32 768 токенов. Модель предназначена для диалогов и генерации ответов на текстовые запросы. В карточке приведены результаты оценивания на наборах задач рассуждения, понимания здравого смысла и математики. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

FastLlama-3.2-1B-Instruct-GGUF — набор GGUF-квантизаций модели FastLlama-3.2-1B-Instruct, подготовленный bartowski на базе модели suayptalha. Квантизация выполнена с использованием llama.cpp и метода imatrix. Это текстовая instruction-модель для генерации ответов и работы с пользовательскими запросами. Модель предназначена для диалоговых сценариев, генерации и обработки текста, а также задач, связанных с математикой, наукой, химией, биологией и программным кодом. В метаданных заявлена поддержка английского, немецкого, испанского, французского, итальянского, португальского, хинди и тайского языков. Размер базовой модели — 1B параметров; модальность — текстовая. Точный размер контекста в README не указан. Основное преимущество — наличие большого набора вариантов с разным соотношением качества, размера и требований к памяти: от F32 и F16 до Q2–Q8 и IQ-квантизаций. В README рекомендуются, в частности, Q4_K_M как вариант общего назначения, а также Q5 и Q6 для более высокого качества; малые варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать по качеству. Для корректной работы следует использовать указанный формат prompt и совместимый inference-инструмент, например llama.cpp или LM Studio. Модель распространяется по лицензии Apache-2.0.

hugging-quants/gemma-2-9b-it-AWQ-INT4 — общественная квантованная версия Google Gemma 2 9B Instruct, подготовленная сообществом с использованием AutoAWQ. Это текстовая decoder-only языковая модель с открытыми весами, ориентированная на генерацию текста на английском языке. Модель предназначена для диалоговых приложений, ответов на вопросы, суммирования, рассуждений и других задач генерации текста. Она использует 4-битное представление INT4 с GEMM-ядрами, zero-point-квантованием и размером группы 128, что уменьшает требования к памяти и упрощает локальное или облачное развёртывание. Для загрузки контрольной точки требуется около 6 ГиБ видеопамяти без учёта KV-кэша и CUDA-графов; рекомендуется иметь немного больше доступной памяти. Модель поддерживается через transformers, AutoAWQ и Text Generation Inference. Для работы требуется transformers версии 4.45.0 или выше; токенизатор из репозитория несовместим с более старыми версиями. Квантование может снизить точность по сравнению с исходной версией Gemma 2 9B Instruct в BF16, однако README не содержит количественной оценки этого эффекта. Лицензия указана как gemma.

OnlyTextLLMs выпустила текстовую версию Gemma 4 E2B IT на основе google/gemma-4-E2B-it. Это плотная авторегрессионная языковая модель с архитектурой Gemma4ForCausalLM; из исходной мультимодальной модели удалены компоненты обработки изображений и аудио и соответствующие специальные токены, а текстовый блок и языковая голова сохранены. Карточка указывает 4,65 млрд параметров, 35 слоёв и размер скрытого состояния 1536, тогда как метаданные каталога приводят 1,6 млрд параметров; точный размер поэтому расходится между источниками. Метаданные указывают контекст до 131072 токенов и поддержку диалогового режима. Модель предназначена для генерации текста и диалоговых сценариев, где вход и выход представлены текстом. Она не принимает изображения или аудио, в отличие от исходной Gemma 4 E2B IT. README сообщает, что новые обучающие данные и дообучение не добавлялись: изменён состав компонентов модели. Репозиторий распространяется по лицензии Apache 2.0.

Hunyuan-A13B-Instruct-GGUF — GGUF-квантизированная версия инструкционной модели Hunyuan-A13B-Instruct, разработанной Tencent. Квантизацию выполнил bartowski на основе llama.cpp версии b5845; модель представлена в рамках программы Community models сообщества LM Studio, но LM Studio не является её разработчиком или владельцем. Модель предназначена для генерации текста по инструкциям и оптимизирована для агентских задач с гибридным рассуждением. Это MoE-модель с 80 млрд общих параметров, из которых при обработке активируются 13 млрд. Заявлена поддержка контекста до 256 тысяч токенов, при этом значение по умолчанию составляет 32 тысячи токенов. Сведения о поддерживаемых языках и модальностях в README не указаны; по имеющимся данным, модель относится к текстовым моделям. К сильным сторонам относятся большой контекст, архитектура MoE с меньшим числом активных параметров и ориентация на агентские сценарии и рассуждение. Ограничения включают отсутствие в README подробных результатов оценки, перечня языков, информации о требованиях к оборудованию и характеристиках отдельных вариантов квантизации. Модель распространяется по лицензии tencent-hunyuan-a13b; указана ссылка на лицензию Tencent Hunyuan.

Jan-v1-4B-GGUF — языковая модель для генерации текста, разработанная командой Jan (Jan Community/Jan HQ). Она предназначена для агентских сценариев, рассуждений, решения задач, диалогового взаимодействия и использования инструментов, прежде всего в приложении Jan и при локальном развёртывании через совместимые средства, такие как llama.cpp. Модель основана на Jan-v1-4B, созданной на базе подходов Lucy и Qwen3-4B-Thinking-2507. Модель имеет размер 4B параметров, поддерживает английский язык и относится к классу text-generation. Формат GGUF ориентирован на локальный запуск, в том числе с llama.cpp; README также описывает интеграцию с Jan App и использование tool calling. Среди заявленных сильных сторон — улучшенные возможности рассуждения и работы с инструментами, а также результат 91,1% в SimpleQA. Рекомендуемые параметры генерации включают temperature 0.6, top_p 0.95, top_k 20 и max_tokens 2048. В README не указаны размер контекстного окна, точная схема квантования GGUF, поддерживаемые модальности помимо текста и подробные условия проведения бенчмарков, поэтому эти характеристики нельзя определить по имеющимся данным. Модель распространяется по лицензии Apache 2.0.

Jhjhugv/kanana-1.5-8b-instruct-2505-Persona-Merged — дообученная диалоговая модель, созданная Jhjhugv на основе kakaocorp/kanana-1.5-8b-instruct-2505. Это плотная Llama-модель с 7,5 млрд параметров, рассчитанная на генерацию текста и чат; метаданные также указывают интерфейс вызова инструментов. Контекстное окно составляет 32 768 токенов. Модель принимает текст и выдаёт текст. Базовая модель предназначена для генерации текста, программирования, математики и работы с инструментами; карточка этой производной версии не уточняет специализацию дообучения. В README указано использование Unsloth и библиотеки TRL при обучении. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или конкретных ограничений, поэтому пригодность для специализированных задач следует проверять на собственных примерах.