II.7DevOps, облако и эксплуатация IT-систем

Whittle-Qwen-3.8-35B-A3B-i1-GGUF — это квантизированная GGUF-версия модели Whittle-Qwen-3.8-35B-A3B, разработанной logic65 и опубликованной в формате квантизаций пользователем mradermacher. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений, программирования и математических задач, а также для локального запуска через llama.cpp и совместимые инструменты. Модель использует архитектуру mixture-of-experts (MoE) и заявленные механизмы n-gram memory, conditional memory, hyper-connections и knowledge distillation. В обозначении указано 35B параметров, однако README не уточняет число активных параметров при инференсе. Поддерживаются английский, китайский и другие языки; модель работает с текстом и не предназначена для мультимодальных входов. Размер контекста и другие параметры архитектуры не указаны. Доступно множество вариантов квантизации i1-GGUF объёмом примерно от 13,1 до 29,4 ГБ. Они предлагают разные компромиссы между размером, скоростью и качеством; README отмечает i1-Q4_K_M как быстрый рекомендуемый вариант, а i1-Q4_K_S — как удачный баланс размера, скорости и качества. Ограничения включают возможную потерю качества при низкой разрядности и отсутствие подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

DFM Mimir v1 — языковая модель, разработанная в рамках Danish Foundation Models при сотрудничестве Университета Южной Дании, Орхусского университета, Копенгагенского университета и Alexandra Institute. Модель обучена с нуля на архитектуре HRM-Text и предназначена для генерации текста и диалогового следования инструкциям. В репозитории указано около 1 млрд параметров, а метаданные Hugging Face содержат оценку 855,6 млн; длина контекста — 4096 токенов. Модель ориентирована на датский и английский языки. Авторы сообщают о конкурентных результатах на тестах по датскому, английскому, математике и программированию, включая новый уровень результатов для датского среди сравниваемых моделей. Она может использоваться для диалога, ответов на вопросы, следования инструкциям, а также задач на рассуждение, математику и код. Лицензия — Apache 2.0. Авторы предупреждают, что модель обучалась только на датском и английском и может плохо работать на других языках. Она не проходила специальную настройку безопасности и может отражать социальные предубеждения обучающих данных.

Dirk-Qwen3.8-27B-GGUF — это квантованная GGUF-версия плотной мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем npario. Модель предназначена для диалогов, агентного программирования, анализа изображений и других задач, требующих генерации текста с поддержкой vision-language. Она рассчитана на запуск через llama.cpp и совместимые рантаймы. Модель сохраняет веса исходной Qwen3.8-27B, vision-возможности и MTP-голову nextn для multi-token prediction и speculative decoding. В поставку включён Sharp chat template, ориентированный на краткие ответы и работу без дополнительной настройки шаблона. Поддерживаются английский и китайский языки. Доступны уровни reasoning_effort low, medium и xhigh; high является псевдонимом xhigh, а рассуждения можно полностью отключить. Контекстный размер в README не указан. Сильные стороны модели — компактные ответы, потенциально более высокая скорость генерации благодаря MTP и широкий выбор квантов Dynamic 3.0 UD размером примерно от 9,8 до 31,5 ГБ. Ограничения связаны с потерями качества у малобитных квантов, требованиями к видеопамяти и необходимостью использования совместимого vision-проектора mmproj-F16.gguf для работы с изображениями. Модель распространяется по лицензии Apache-2.0.

FluentlyQwen3 1.7B — языковая модель Project Fluently на архитектуре Qwen3ForCausalLM, дообученная с помощью SFT и GRPO и собранная поэтапным слиянием. Она предназначена для генерации текста, диалогов и выполнения инструкций; разработчик сообщает об улучшениях в обычном общении, переводе и математике. Модель содержит 1,7 млрд параметров, имеет 28 слоёв и контекст до 40 960 токенов по метаданным. Поддерживает режим рассуждений, который можно отключить для более быстрой генерации. Заявлены английский и русский языки, а также работа с кодом. Модель доступна в формате Safetensors и распространяется по лицензии Apache-2.0. Как и другие компактные языковые модели, она может ошибаться в фактах, переводах, математике и коде; заявленные улучшения не сопровождаются в карточке количественными результатами оценки.

Gemma-4-12B-it-qat-JANG_4M-CRACK — дообученная и квантизированная версия Gemma 4 12B-it от dealignai. Это плотная мультимодальная модель семейства Gemma4 Unified с единым ранним слиянием модальностей и гибридным скользящим и глобальным вниманием. Она принимает текст, изображения и аудио и предназначена для диалогов, рассуждений, ответов на вопросы и генерации кода; карточка также заявляет многоязычную поддержку и сохранение возможностей базовой модели в работе с изображениями и аудио. Модель использует схему JANG_4M: 8-битное квантование внимания и 4-битное квантование MLP. Разработчик сообщает о 84,2% на MMLU и 97% выполнении вредоносных запросов в тесте HarmBench, где отказ от ответов на такие запросы был удалён. Поэтому модель рассчитана на сценарии без стандартных отказов по этим категориям и требует осторожного контроля применения. Для запуска рекомендованы приложение или API vMLX и Mac на Apple Silicon с достаточной объединённой памятью; стандартные mlx_lm и mlx_vlm, согласно карточке, не обеспечивают полной поддержки Gemma 4. Лицензия — Gemma; разработчик указывает исследовательское назначение и возлагает ответственность за соблюдение применимых законов на пользователей.

Карточка модели eyes-dot-ml/GLM-5.3-Flash-BF16 на Hugging Face совпадает с карточкой zai-org/GLM-5.3-Flash-BF16, поэтому описание составлено по ней. GLM-5.3-Flash-BF16 — мультимодальная модель семейства GLM от Z.ai для диалогов и задач с изображениями. По карточке модели, она содержит 320 млрд параметров, из которых 18 млрд активны при обработке. Архитектура GLM5 Next сочетает разреженное и линейное внимание; модель обучена с нуля и использует мультимодальную предобучающую выборку объёмом 30 трлн токенов. Модель предназначена для анализа изображений и текста, программирования и агентных сценариев. В README заявлены улучшения относительно GLM-5.2 и эффективность при работе с длинным контекстом. Доступны уровни reasoning_effort low, high и max; для локального развёртывания перечислены Transformers, vLLM, SGLang и другие фреймворки. Метаданные указывают поддержку английского и китайского языков и интерфейс чата с обработкой изображений. Лицензия — MIT.

Это GGUF-квантизированная instruction-модель gemma-4-31B-it, разработанная Google и подготовленная в вариантах квантизации bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалоговых и генеративных задач и может запускаться локально через llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README также указан pipeline image-text-to-text, однако подробности о поддерживаемых визуальных входах не приведены. Модель содержит 31 млрд параметров; доступны варианты от BF16 до различных уровней 8-, 6-, 5-, 4- и 3-битной квантизации. Размер файлов составляет примерно от 13,84 до 61,41 ГБ. Высокоточные варианты обеспечивают лучшее сохранение качества, а более компактные подходят для систем с ограниченной оперативной памятью, но могут заметно уступать по качеству. Для некоторых форматов заявлена оптимизация под CPU ARM и Apple Silicon. Используется специальный шаблон диалога с ролями system, user и model; для недавно поддерживаемых моделей может потребоваться обновление программного обеспечения. Модель распространяется по лицензии Apache-2.0 с дополнительными условиями Gemma; точные требования следует проверять в документации Google. README не содержит данных о длине контекста, списке языков, конкретных бенчмарках и системных требованиях, поэтому эти характеристики нельзя достоверно оценить.

ibm-granite/granite-3.3-8b-instruct-GGUF — это семейство версий модели IBM Granite 3.3 8B Instruct, преобразованных в формат GGUF с различными уровнями квантования. Модель разработана IBM и предназначена для генерации текста и выполнения инструкций в сценариях, поддерживаемых базовой моделью ibm-granite/granite-3.3-8b-instruct. Из доступных данных известно, что модель относится к классу text-generation и имеет около 8 миллиардов параметров. Формат GGUF удобен для локального запуска совместимыми средствами вывода, а выбор квантования позволяет находить компромисс между качеством, скоростью работы и требованиями к памяти. Конкретные поддерживаемые языки, размер контекста, архитектурные детали и различия между вариантами квантования в предоставленной карточке не указаны. Сильными сторонами являются инструкционное назначение базовой модели и возможность локального использования в компактных квантованных вариантах. Ограничения зависят от выбранного уровня квантования и характеристик среды запуска; точные сведения о качестве, мультимодальности и специализированных сценариях отсутствуют. Модель распространяется по лицензии Apache-2.0.

Granite-4.0-1B-Base — компактная базовая языковая модель IBM Granite Team для генерации текста в условиях ограниченных вычислительных ресурсов, включая мобильные устройства и IoT. Это декодерный плотный трансформер на 1,6 млрд параметров с архитектурой GraniteMoeHybrid, GQA, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Модель обучена с нуля на смеси открытых и проприетарных данных; контекст — до 131 072 токенов. Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Также поддерживает заполнение пропусков в коде по префиксу и суффиксу (FIM). Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы и дополнения кода; её также можно использовать как основу для дообучения под конкретные задачи. Небольшой размер рассчитан на быстрое выполнение и локальное использование, в том числе с сохранением данных на устройстве. Модель не прошла выравнивание безопасности и может выдавать предвзятые, неверные или проблематичные ответы, а также воспроизводить фрагменты обучающих данных. Распространяется по лицензии Apache 2.0.

Это GGUF-сборка Huihui-Nex-N2-mini-abliterated, подготовленная LocalAI с использованием APEX — смешанной MoE-квантизации с учётом роли и слоя тензоров. Модель основана на гибридной архитектуре Qwen3.5 с 40 слоями, 256 экспертами (8 активны одновременно), линейным вниманием SSM и полным вниманием; всего около 35,1 млрд параметров, из которых активно около 3 млрд. В сборках MTP сохранена встроенная черновая голова предсказания следующего токена для спекулятивного декодирования. Модель предназначена для диалогов и задач с изображениями. Вариант APEX I-Quality калиброван на разнообразных примерах чата, кода, рассуждений и вызова инструментов. MTP-варианты могут ускорять генерацию, но требуют свежей сборки llama.cpp с поддержкой встроенного MTP; вариант без MTP совместим с более широким диапазоном сборок. Репозиторий содержит несколько вариантов GGUF-квантования примерно по 22,8–24,5 ГБ. Это uncensored-производная: удаление направления отказов может приводить к ответам на запросы, от которых исходная модель отказалась бы. Лицензия — Apache-2.0.

Jan-v1-AIO-GGUF — набор GGUF-квантованных версий моделей семейства Jan-v1, опубликованный prithivMLmods. В состав входят Jan-v1-2509, Jan-v1-edge и Jan-v1-4B, предназначенные для локального запуска через совместимые inference-движки, интеграции с приложением Jan, автономной работы и повышения приватности. Модели ориентированы на генерацию текста, агентское рассуждение, решение задач, использование инструментов, ответы на фактические вопросы и сценарии с веб-поиском. Jan-v1-4B — языковая модель на 4 млрд параметров, построенная на архитектуре Qwen3-4B-thinking и поддерживающая контекст до 256 000 токенов. Для неё заявлена точность 91,1% на бенчмарке SimpleQA. Jan-v1-edge — облегчённая модель для быстрой работы на устройствах с ограниченными ресурсами; она дистиллирована из более крупной Jan-v1 и дообучалась в два этапа: supervised fine-tuning и reinforcement learning with verifiable rewards. В README точные размеры Jan-v1-2509 и Jan-v1-edge, а также сведения о мультимодальности не указаны. Поддерживается английский язык. Доступны варианты с разными типами квантования — от Q2_K до Q8_0, а также BF16, F16 и F32, что позволяет выбирать между размером файлов, требованиями к памяти и потенциальным качеством. Размеры файлов варьируются примерно от 778 МБ до 16,1 ГБ в зависимости от модели и формата. Ограничения включают зависимость производительности от выбранного квантования и оборудования, а также отсутствие в README подробных результатов для всех вариантов. Модели распространяются по лицензии Apache-2.0.

Llama-3.3-70B-Instruct-FP8-KV — квантизированная версия модели meta-llama/Llama-3.3-70B-Instruct, подготовленная Advanced Micro Devices (AMD) с использованием Quark и калибровочных образцов из набора данных Pile. Модель предназначена для задач генерации текста и диалоговых сценариев, поддерживаемых исходной instruct-моделью Llama 3.3, с эффективным инференсом на совместимой инфраструктуре. Ключевая особенность — FP8-квантизация: все линейные слои, кроме lm_head, используют симметричное по тензору представление FP8 для весов и активаций, а KV-cache также хранится в FP8. Модель экспортируется в формат Quark safetensors и совместима с развертыванием через backend vLLM. Указан результат на perplexity для wikitext2: 3,9622 против 3,8624 у исходной модели; авторы отмечают, что оценка выполнена в режиме псевдоквантизации и может отличаться от точности при фактическом инференсе. Лицензия обозначена как llama3.3; применяются условия лицензии Meta для Llama 3.3, при этом модификации принадлежат Advanced Micro Devices, Inc. Для использования требуется совместимая среда Quark и поддержка FP8 со стороны оборудования и backend.

Meta-Llama-3.1-405B-Instruct-AWQ-INT4 — это общественно подготовленная квантованная версия большой языковой модели Meta-Llama-3.1-405B-Instruct, разработанной Meta AI. Модель предназначена для генерации текста и ведения многоязычных диалогов, включая ассистентские сценарии, ответы на вопросы и другие задачи, поддерживаемые instruction-tuned моделями. Она работает в формате text in/text out и интегрируется с Transformers, AutoAWQ и Text Generation Inference. Модель содержит 405B параметров и использует архитектуру Llama 3.1. FP16-версия была преобразована в INT4 с помощью AutoAWQ: применяются GEMM-ядра, zero-point quantization и размер группы 128. В README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Точный размер контекстного окна в представленных данных не указан. Ключевое преимущество — значительное снижение требований к памяти по сравнению с FP16 при сохранении возможностей 405B-модели и поддержке оптимизированного инференса. Ограничения связаны с экстремально большим размером: для загрузки чекпойнта требуется около 203 GiB VRAM без учета KV-кэша и CUDA graphs, поэтому для практического запуска нужна мног GPU-конфигурация или сопоставимая инфраструктура. Модель распространяется по лицензии llama3.1; это именно community-driven квантованная версия оригинальной модели Meta.

unsloth/Meta-Llama-3.1-8B-Instruct — инструкционно настроенная плотная авторегрессионная языковая модель семейства Llama, опубликованная Unsloth на основе Meta-Llama-3.1-8B-Instruct. Она предназначена для диалогов, генерации текста и выполнения пользовательских инструкций; каталог также отмечает интерфейс вызова инструментов. В репозитории указаны 7,5 млрд параметров, формат safetensors и библиотека Transformers. Заявленная длина контекста — 131 072 токена. Модель подходит для создания чат-ботов, генерации и продолжения текста, а также приложений, использующих интерфейс вызова инструментов. В метаданных указан английский язык; README посвящён настройке Llama 3.1 и не сообщает результатов оценки качества именно этой версии. Лицензия — llama3.1; условия использования следует сверять с лицензией семейства Llama 3.1.

Это преобразованная в формат MLX версия Meta-Llama-3.1-8B-Instruct, подготовленная сообществом mlx-community на основе модели Meta. Она предназначена для генерации текста в диалоге, ответов на вопросы и выполнения инструкций; также поддерживает интерфейс вызова инструментов. Модель с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. В README указано преобразование с помощью mlx-lm версии 0.19.0; репозиторий содержит веса в формате safetensors с точностью bf16. В карточке перечислена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Лицензия — llama3.1; условия её использования определяются лицензией Meta Llama 3.1.

legraphista/Meta-Llama-3.1-8B-Instruct-IMat-GGUF — вариант модели Meta-Llama-3.1-8B-Instruct, подготовленный legraphista в формате GGUF с поддержкой IMat. Это инструкционно настроенная большая языковая модель Meta с 8 млрд параметров, предназначенная для диалогов, следования инструкциям и генерации текстовых ответов. Данные README не содержат точной информации о поддерживаемых языках, длине контекста, конкретных вариантах квантования или аппаратных требованиях. Формат GGUF делает модель пригодной для локального запуска в совместимом программном обеспечении, однако README не указывает конкретные средства инференса и характеристики производительности. Ограничения включают возможные ошибки и нежелательные результаты, характерные для языковых моделей, а также ответственность пользователя за оценку пригодности выводов. Модель распространяется на условиях Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов требуется сохранять текст лицензии и указывать «Built with Llama»; также необходимо соблюдать Acceptable Use Policy. Для продуктов с более чем 700 млн ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.2 и Weyaxi/MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp. Она построена на плотной архитектуре Mistral и содержит 7,1 млрд параметров; модель предназначена для генерации текста и ответов на инструкции в диалоговом формате. Контекстное окно составляет до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. В предоставленных материалах не описаны языковое покрытие и специальные ограничения качества или безопасности.

MiniCPM5-1B-OptiQ-4bit — квантизированная версия языковой модели openbmb/MiniCPM5-1B, подготовленная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска на устройствах Apple Silicon через MLX, включая диалоговые приложения, переписывание и суммаризацию текста, генерацию кода, математические задачи, многошаговое рассуждение, планирование и сценарии с инструментами. Поддерживаются английский и китайский языки, текстовая генерация и длинный контекст, однако точный размер контекста в README не указан. Модель содержит около 1,08 млрд параметров и использует архитектуру Llama с гибридным режимом рассуждения. Доступны быстрый режим без рассуждений и режим с блоком <think> для математики, кода и сложных многошаговых задач. Квантизация OptiQ использует чувствительную к слоям смешанную точность: 4- и 8-битные веса, среднее значение 5,81 бит на вес. Размер модели составляет около 875 МБ, что примерно в 2,4 раза меньше версии в формате bfloat16. Сильными сторонами являются компактность, возможность локальной работы без облака, улучшенное по сравнению с равномерной 4-битной квантизацией сохранение качества, а также хорошие результаты в IFEval и HumanEval для модели такого размера. Ограничения включают слабые результаты в GSM8K и BFCL в режиме без рассуждений; заявленные бенчмарки не отражают полностью возможности режима thinking. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

MiniCPM5-2B-RotSVDMix — это сжатая и квантизованная версия языковой модели openbmb/MiniCPM5-2B, опубликованная ewin-reg. Модель предназначена для генерации текста, диалоговых сценариев, написания и анализа кода, суммаризации и запуска на устройствах с ограниченными ресурсами, включая мобильные и периферийные устройства. Поддерживаются английский и китайский языки; модель относится к текстовым causal language models и поставляется в формате SafeTensors. Модель содержит около 2 миллиардов параметров и основана на 42 слоях трансформера. Благодаря сочетанию ортогонального вращения, низкорангового SVD и квантизации ExTernD она занимает 1 985 213 632 байта, то есть менее 2 ГБ. Заявлена совместимость с PyTorch, Hugging Face Transformers, vLLM и TGI без необходимости компиляции специализированного C++-рантайма. Длина контекста в README не указана. На тестовой выборке WikiText-2 модель показала perplexity 20,92 против 20,46 у базовой FP16-версии, что соответствует ухудшению примерно на 2,25%. Косинусное сходство логитов с базовой моделью составило 98,70%, совпадение наиболее вероятного токена — 96%, а пересечение пяти наиболее вероятных токенов — 100% на ограниченном наборе из 25 промптов. Эти результаты указывают на хорошее сохранение поведения исходной модели при существенном уменьшении размера, однако качество может зависеть от задачи, языка и входных данных; заявленные измерения не заменяют полноценную оценку прикладных сценариев. Модель распространяется по лицензии Apache 2.0.

Ministral 3 14B Instruct 2512 — мультимодальная модель Mistral AI для диалогов и выполнения инструкций, дообученная на базе Ministral 3 14B Base 2512 и представленная в формате FP8. Архитектура Mistral3 включает языковую модель на 13,5 млрд параметров и визуальный энкодер на 0,4 млрд; веса хранятся в safetensors, для запуска рекомендуется vLLM. Модель рассчитана на локальное и периферийное развертывание, в частности для приватных ассистентов и агентных сценариев. Она принимает текст и изображения, умеет анализировать визуальное содержимое, следовать системным инструкциям, вызывать функции и формировать JSON. Поддерживает контекст до 256 тысяч токенов и многоязычное взаимодействие, включая английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. В README заявлены результаты, сопоставимые с более крупной Mistral Small 3.2 24B; для запуска в FP8 указано требование около 24 ГБ VRAM, а дополнительная квантизация может снизить его. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию. Качество может зависеть от аппаратуры и настроек; для изображений рекомендуется близкое к квадратному соотношение сторон, а для повседневного использования — температура ниже 0,1.

Mistral-7B-Instruct-v0.1-GGUF — это квантизированная версия текстовой instruct-модели Mistral-7B-Instruct-v0.1, разработанной Mistral AI и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии, в средах, совместимых с GGUF и LlamaEdge. Модель основана на архитектуре Mistral, имеет 7 миллиардов параметров и поддерживает только текстовую модальность. Размер контекста составляет 4096 токенов, а для взаимодействия используется шаблон mistral-instruct: <s>[INST] {prompt} [/INST]. README не указывает поддерживаемые языки. Доступны варианты квантизации от 2 до 8 бит размером примерно от 2,7 до 7,7 ГБ; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые, поскольку обеспечивают баланс между размером и качеством. Основные преимущества модели — возможность локального запуска, широкий выбор уровней квантизации и совместимость с LlamaEdge версии 0.2.8 и выше. Более агрессивная квантизация уменьшает требования к ресурсам, но может приводить к заметной потере качества. Лицензия модели — Apache-2.0.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для генерации текста, диалогов и рассуждений. Это эталонный выпуск весов BF16, предназначенный прежде всего для дообучения, адаптации к предметной области, исследований и создания производных квантованных вариантов. Архитектура сочетает слои Mamba-2, Mixture-of-Experts и Attention; в модели 30 млрд параметров, из которых активно задействуются 3 млрд, а также используются слои Multi-Token Prediction. Репозиторий содержит веса safetensors, модель работает через Transformers. Модель рассчитана на текстовые запросы и сценарии чата, включая инструкции, кодирование, агентные задачи и работу с длинным контекстом. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский, а в постобучающих данных представлены китайский и многоязычные задачи перевода и рассуждений. В README заявлена длина контекста до 1 млн токенов, тогда как метаданные каталога указывают нативный контекст 262 144 токена. Заявленная лицензия — other; карточка характеризует модель как пригодную для коммерческого использования. Полноточный вариант предназначен главным образом для настройки и оценки; для оптимизированного вывода NVIDIA рекомендует вариант NVFP4.

Квантизированная версия инструкционной языковой модели microsoft/Phi-3-mini-4k-instruct, подготовленная пользователем legraphista в формате GGUF с использованием llama.cpp и IMatrix-калибровки. Модель предназначена для генерации текста в диалоговых сценариях, выполнения инструкций и задач, связанных с обработкой естественного языка и кодом. В README указана поддержка английского языка и контекст размером 4K токенов, что отражено в названии исходной модели. Доступны варианты с разными уровнями точности и размером файлов: от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, включая дополнительные IQ-варианты. Для ряда квантов применена IMatrix, призванная улучшить качество при уменьшении разрядности; исходная модель имеет тип данных BF16. Формат GGUF и совместимость с llama.cpp позволяют использовать модель локально при выборе подходящего варианта под доступную память и требования к качеству. README не содержит подробных сведений об архитектуре, количестве параметров, мультимодальности, результатах тестирования или известных ограничениях качества. Модель распространяется по лицензии MIT, унаследованной от исходной microsoft/Phi-3-mini-4k-instruct.

Richard Young создал эту версию Microsoft Phi-4-mini-instruct с помощью Heretic 2.0.0.dev0: из модели удалено направление отказов без переобучения. Это плотная авторегрессионная языковая модель семейства Phi-3 на 3,8 млрд параметров для генерации текста, диалогов, кода и рассуждений; она принимает текст и выдаёт текст. В README для исходной Phi-4-mini-instruct заявлен контекст 128K токенов, однако метаданные этой модели указывают нативный контекст 4096 токенов, поэтому для данной версии следует ориентироваться на значение метаданных. Модель поддерживает множество языков, включая русский и английский, и распространяется в формате Safetensors по лицензии MIT. По приведённым в README оценкам доля отказов снизилась с 99 из 100 до 5 из 100, а KL-дивергенция относительно оригинала составила 0,0378. Это снижает защитные отказы, но также повышает вероятность выдачи опасного или нежелательного содержания; результаты оценок представлены автором модели.

Карточка модели nosynx/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Это набор GGUF-квантизаций модели Qwen2.5-1.5B-Instruct, опубликованный пользователем duyntnet и основанный на модели Qwen от Alibaba Cloud. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, создание длинных текстов, работу со структурированными данными и JSON, программирование и математические задачи. Запуск поддерживается через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель представляет собой causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, 28 слоёв, 12 attention heads для Q и 2 для KV с GQA. Заявлена длина контекста до 32 768 токенов и генерация до 8192 токенов. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся небольшой размер, возможность локального запуска в формате GGUF, улучшенное следование инструкциям, работа с длинными текстами и структурированными ответами, а также многоязычность. Ограничения связаны с относительно небольшим масштабом в 1,5 млрд параметров и с тем, что README не содержит результатов бенчмарков или подробностей конкретных квантизаций. Лицензия указана как other, без уточнения условий использования, поэтому их следует проверять в исходной карточке и связанных материалах Qwen.

Карточка модели mastema007/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели zsansan/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Richard Young подготовил декензурированную версию Qwen2.5-3B-Instruct с помощью Heretic v1.4.0. Это плотная причинная языковая модель на 3,1 млрд параметров для диалоговой генерации текста. Она подходит для чат-ботов, ответов на инструкции, написания и анализа текста, а также задач по программированию и математике. Модель принимает текст и выдаёт текст; контекст составляет 32 768 токенов, поддерживается генерация до 8 192 токенов. В основе лежит Qwen2.5-3B-Instruct с архитектурой Qwen2ForCausalLM; заявлены RoPE, SwiGLU, RMSNorm и grouped-query attention. README указывает многоязычную поддержку более чем 29 языков, включая русский и английский. В приведённом сравнении модель отказала в 3 случаях из 100 против 96 у исходной версии, поэтому её следует считать менее склонной к отказам при запросах на чувствительные темы. Это не означает гарантии полноты или точности ответов. В метаданных лицензия обозначена как other, а README не содержит её условий, поэтому перед использованием следует проверить лицензию на странице модели и базовой модели. Модель предназначена для работы через библиотеку Transformers.

Qwen3-4B-RKNN3-RK1828 — версия языковой модели Qwen3-4B, подготовленная проектом Firefly для запуска на устройстве RK1828 через LlamaPi. Это плотная причинная модель семейства Qwen3 примерно на 3,7 млрд параметров с форматом GGUF и контекстом до 40 960 токенов. Она предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, программирования и агентных сценариев; поддерживает режимы с рассуждением и без него, а также интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. Исходная Qwen3-4B поддерживает более 100 языков и диалектов. Карточка предлагает запуск через LlamaPi на RK1828. Модель распространяется по лицензии Apache-2.0. Производительность и качество зависят от устройства и конфигурации; возможности конкретной сборки для вызова инструментов следует проверять в целевой среде.