II.3Рефакторинг, миграция и модернизация

Карточка модели unsloth/DeepSeek-R1-Distill-Qwen-14B на Hugging Face совпадает с карточкой unsloth/DeepSeek-R1-Distill-Qwen-7B, поэтому описание составлено по ней. Это версия DeepSeek-R1-Distill-Qwen-7B, опубликованная Unsloth и основанная на дистиллированной модели DeepSeek. В карточке указано, что веса представлены в формате safetensors, архитектура — плотная Qwen2, размер — 7,1 млрд параметров, библиотека для работы — Transformers, а лицензия — Apache-2.0. Модель предназначена для генерации текста и диалогов с многошаговыми рассуждениями, в том числе для решения математических задач и задач программирования. Она обучена на примерах рассуждений, созданных DeepSeek-R1; в README для семейства дистиллированных моделей указан контекст до 128K токенов. Метаданные карточки также указывают контекст 131072 токена. Модель принимает текст и выдаёт текст. Карточка указывает английский язык; README не уточняет перечень поддерживаемых языков. Как и другие языковые модели, она может ошибаться в рассуждениях и ответах. Для использования применяется лицензия Apache-2.0.

unsloth/DeepSeek-R1-Distill-Qwen-7B-unsloth-bnb-4bit — 4-битная динамически квантованная версия DeepSeek-R1-Distill-Qwen-7B. Базовую модель разработала команда DeepSeek, а квантованную сборку подготовила Unsloth. Модель основана на Qwen и относится к плотным большим языковым моделям примерно на 7 млрд параметров. Модель предназначена для текстовых задач, требующих рассуждений, включая решение математических задач, программирование и другие сценарии генерации и анализа текста. DeepSeek-R1 был обучен с применением крупномасштабного reinforcement learning, а серия Distill создана на основе дистилляции возможностей рассуждения DeepSeek-R1 в модели Llama и Qwen. В метаданных указана поддержка английского языка; сведения о размере контекста и дополнительных модальностях не приведены. Ключевая особенность этой версии — Dynamic 4-bit quantization от Unsloth: отдельные параметры выборочно не квантуются, что должно обеспечивать более высокую точность по сравнению со стандартной 4-битной квантизацией при меньших требованиях к памяти. Ограничениями являются возможные потери качества из-за квантования и отсутствие в предоставленных данных подробных результатов именно для этой сборки, характеристик контекстного окна и описания многоязычной поддержки. Лицензия — Apache-2.0.

DeepSeek-V4-Flash-DSpark — это вариант контрольной точки DeepSeek-V4-Flash, разработанный DeepSeek AI. Он не является отдельной моделью: к тому же чекпойнту подключён дополнительный модуль speculative decoding для ускорения инференса. Для запуска предусмотрен отдельный пример инференса, однако подробности его использования в представленных данных не приведены. Базовая DeepSeek-V4-Flash — языковая модель архитектуры Mixture-of-Experts с 284 млрд общих параметров, из которых 13 млрд активируются при обработке токена. Модель поддерживает контекст до 1 млн токенов и поставляется в смешанной точности FP4 + FP8: параметры MoE-экспертов используют FP4, а большинство остальных параметров — FP8. В архитектуре применяются гибридное внимание Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections; обучение проводилось на более чем 32 трлн токенов с использованием оптимизатора Muon и последующего дообучения с SFT, GRPO и on-policy distillation. Модель предназначена для задач работы с длинным контекстом, генерации и анализа текста, рассуждений, программирования и агентских сценариев. Её сильные стороны — большой контекст, относительно небольшое число активных параметров для MoE-модели и оптимизации, направленные на снижение вычислительных затрат и потребления KV-кэша. При этом README не содержит сведений о поддерживаемых языках, конкретных ограничениях качества, системных требованиях и характеристиках speculative decoding. Модель распространяется по лицензии MIT.

Dolphin 2.9.4 Llama 3.1 8B GGUF — это квантизированная версия текстовой генеративной модели cognitivecomputations/dolphin-2.9.4-llama3.1-8b, подготовленная пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель основана на Llama 3.1 с 8 млрд параметров и предназначена для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель ориентирована на диалоговые и инструкционные сценарии, генерацию и анализ текста, программирование, математические задачи, работу с агентными данными и системными диалогами. При дообучении использовались наборы Dolphin-2.9, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, FineTome, agent_data, math-gpt-4o и SystemChat. Поддерживается текстовая модальность; сведения о точном контекстном окне и перечне языков в карточке не указаны. Доступно множество вариантов квантизации от F32 до Q2_K и IQ-серий, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Варианты Q5 и Q6 заявлены как высококачественные, Q4 — как компромиссные, а Q2–Q3 требуют меньше памяти, но заметно уступают по качеству. Качество и производительность зависят от выбранного варианта квантизации и аппаратной конфигурации. Лицензия указана как llama3.1.

EVA-Meissa-mini-pro-v2 — слитая языковая модель, созданная с помощью mergekit методом TIES на основе win10/EVA-Meissa-mini-pro с включением shuttleai/shuttle-3-mini. Это плотная 14-миллиардная модель семейства Qwen2 для диалогов и генерации текста; поддерживает контекст до 65 536 токенов и распространяется в формате safetensors для Transformers. Модель подходит для диалоговых интерфейсов, следования инструкциям, рассуждений и генерации текста, включая код. Лицензия в предоставленных данных не указана.

unsloth/gemma-4-E2B-it-UD-MLX-4bit — 4-битная MLX-квантизованная версия instruction-tuned модели Gemma 4 E2B, подготовленная Unsloth на базе google/gemma-4-E2B-it. Исходное семейство Gemma разработано Google DeepMind и распространяется как открытые модели с открытыми весами. Модель предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для генерации текста, рассуждений, программирования, мультимодального анализа и агентских сценариев с поддержкой function calling. Она принимает текстовые и графические данные, а также аудио, и генерирует текст. Для E2B заявлено контекстное окно до 128K токенов и поддержка более 140 языков. E2B — компактная dense-модель с 2,3 млрд эффективных параметров, или 5,1 млрд с учётом embedding-слоёв, 35 слоями, локальным окном внимания 512 токенов и словарём на 262 тысячи токенов. Архитектура использует гибридное внимание, объединяющее локальное скользящее и глобальное внимание, а также Per-Layer Embeddings для повышения эффективности на устройствах. 4-битное представление снижает требования к памяти и подходит для локального запуска через MLX, однако README не приводит подробных результатов бенчмарков или количественной оценки потерь качества после квантизации. Лицензия — Apache 2.0.

Карточка модели Cultxre/GLM-4.6-Derestricted-v3 на Hugging Face совпадает с карточкой ArliAI/GLM-4.6-Derestricted-v3, поэтому описание составлено по ней. GLM-4.6-Derestricted-v3 — текстовая диалоговая модель Arli AI, созданная на основе GLM-4.6 от Zhipu AI. Разработчики применили к базовой модели метод Norm-Preserving Biprojected Abliteration, чтобы убрать поведение отказа, стараясь сохранить рассуждения и другие способности исходной модели. Это модификация весов, а не отдельная архитектура; в репозитории указаны 23,4 млрд параметров, семейство GLM-4 MoE и формат safetensors. Модель предназначена для генерации диалоговых ответов, рассуждений, написания кода и агентных сценариев. Унаследованный от GLM-4.6 контекст составляет 202 752 токена; исходная карточка также описывает поддержку использования инструментов. В карточке заявлено, что удаление отказов позволяет сохранить или улучшить рассуждения, однако независимых подтверждений этих заявлений не приведено. Модель принимает текст и генерирует текст. Лицензия — MIT. Языки явно не перечислены; исходная GLM-4.6 описана как модель для текста и кода, но конкретный набор естественных языков не указан.

GLM-4.7-Flash — модель семейства GLM, опубликованная Unsloth в формате Safetensors и предназначенная для генерации текста в диалоговом режиме. Карточка описывает исходную GLM-4.7-Flash от Z.ai как MoE-модель класса 30B-A3B; каталог указывает для этой публикации 4,1 млрд параметров и архитектуру GLM4-MoE-Lite. Контекст составляет 202 752 токена. Модель рассчитана на диалог, рассуждения и программирование. В метаданных также отмечен интерфейс вызова инструментов. README сообщает о поддержке локального запуска через vLLM и SGLang, а публикация включает исправления шаблона чата для Unsloth; заявленные результаты бенчмарков относятся к карточке исходной модели. Модель принимает текст и генерирует текст. Основные языки карточки — английский и китайский. Репозиторий использует лицензию MIT. Карточка рекомендует для llama.cpp параметр --jinja; vLLM и SGLang, согласно README, поддерживают модель только в основных ветках.

GLM-4.7-Flash — языковая модель для генерации текста, разработанная организацией Z.ai. Это MoE-модель класса 30B-A3B, предназначенная для лёгкого локального развёртывания с балансом между качеством и эффективностью. Представленная версия распространяется в формате GGUF и создана с использованием llama.cpp. Модель ориентирована на рассуждение, программирование, агентские сценарии, работу с инструментами и многошаговые диалоги. В README указана поддержка английского и китайского языков. Среди заявленных результатов — высокие показатели в AIME 25, GPQA, HLE, SWE-bench Verified, τ²-Bench и BrowseComp, однако эти результаты относятся к исходной модели и зависят от настроек оценки. Для локального запуска также заявлена совместимость с vLLM, SGLang и transformers. GGUF-версии используют квантизацию, в которой отдельные важные слои переводятся на более высокую точность для улучшения качества при заданном размере файла; компромиссом является увеличение объёма модели. В README не указаны размер контекста, полный перечень модальностей, требования к оборудованию и конкретные параметры отдельных квантов. Лицензия модели — MIT.

Dingdust/granite-4.2-8b-heretic — дообученная и модифицированная версия модели семейства Granite от IBM. Это плотный decoder-only Transformer GraniteForCausalLM с 8,4 млрд параметров, рассчитанный на генерацию текста, диалог, рассуждения и вызов инструментов. Веса опубликованы в формате safetensors; лицензия Apache 2.0 разрешает коммерческое и академическое использование. Модель предназначена для ответов на сложные вопросы, решения многошаговых задач, математики, программирования и агентных сценариев с инструментами. Карточка описывает режимы рассуждения с разной глубиной и контекст до 512 тыс. токенов, однако метаданные указывают нативный контекст 131 072 токена. README также сообщает об abliteration: в приведённом сравнении доля отказов снизилась с 96 до 3 из 100 запросов; поэтому модель менее склонна отказывать, но может отвечать на небезопасные запросы. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; качество может быть ниже английского. Возможны неточные, предвзятые или небезопасные ответы. Текст рассуждений может содержать промежуточные выводы и не отражать итоговый ответ.

GRM-2.6-Plus-0628-GGUF — это набор GGUF-квантованных файлов модели GRM-2.6-Plus-0628, разработанной OrionLLM. Модель содержит 27 млрд параметров и предназначена для общего применения, включая диалог, сложное рассуждение, программирование, решение задач и агентские сценарии, особенно при локальном или исследовательском развертывании. Заявлены улучшения по сравнению с GRM-2.6-Plus в задачах с длинной цепочкой действий и многошаговыми агентскими процессами. К сильным сторонам относятся структурированное рассуждение, обработка сложных задач, генерация кода и практическая эффективность для модели такого размера. В README указана только текстовая генерация; сведения о точной архитектуре, поддерживаемых языках, максимальном контексте, конкретных вариантах квантования и мультимодальности не приведены, поэтому эти характеристики нельзя подтвердить. Модель распространяется по лицензии Apache-2.0.

Hunyuan-A13B-Pretrain — базовая большая языковая модель Tencent на архитектуре Mixture of Experts (MoE), предназначенная для генерации текста, рассуждений и общих языковых задач. В README для семейства Hunyuan-A13B указано 80 млрд параметров всего и 13 млрд активных параметров; метаданные именно этого репозитория указывают 3,1 млрд параметров. Карточка также описывает режимы быстрого и пошагового рассуждения, Grouped Query Attention и поддержку длинного контекста, но приводит для семейства 256 тыс. токенов, тогда как метаданные репозитория указывают нативный контекст 32 768 токенов. Модель подходит для диалоговых приложений, генерации и продолжения текста, решения задач на рассуждение, математику и код, а также для агентных сценариев с вызовом инструментов. Репозиторий содержит веса safetensors и рассчитан на работу через Transformers; для сервинга README также упоминает TensorRT-LLM, vLLM и SGLang. В README упоминаются возможности семейства и результаты варианта Instruct, которые не следует считать подтверждёнными оценками именно этого pretrain-чекпойнта. Лицензия указана как other; README ссылается на LICENSE, но конкретные условия в предоставленных данных не раскрыты.

MiniCPM5-2B — компактная плотная языковая модель из серии MiniCPM5, разработанная OpenBMB. Репозиторий AIArchiveInfo является побитовой копией openbmb/MiniCPM5-2B: веса не обучались и не изменялись. Модель построена на архитектуре Transformer LlamaForCausalLM и содержит около 2,2 млрд параметров; она принимает текст и генерирует текст. Контекстное окно составляет 131 072 токена. Модель предназначена для локальных ассистентов и сценариев с ограниченными вычислительными ресурсами. Она подходит для диалога, генерации кода, математических и общих рассуждений, работы с длинными контекстами, вызова инструментов и агентных рабочих процессов. В карточке заявлена конкурентоспособность среди моделей сопоставимого размера, в частности в коде, математике, длинном контексте и использовании инструментов. В метаданных указаны английский и китайский языки. Модель распространяется в формате Safetensors и совместима с Transformers; лицензия — Apache-2.0. Ответы могут быть неточными, предвзятыми или оскорбительными, а результаты по медицине, финансам, праву и другим чувствительным темам не являются профессиональной консультацией.

NVIDIA MiniMax-M2.5-NVFP4 — квантизированная версия авторегрессионной языковой модели MiniMax-M2.5, разработанной MiniMax и подготовленной NVIDIA с использованием Model Optimizer. NVIDIA не является разработчиком исходной модели. Модель предназначена для коммерческого и некоммерческого применения, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на базе генерации текста. Модель использует архитектуру Transformers с сетевой архитектурой MiniMaxM2ForCausalLM и содержит 229 млрд параметров. Она работает с текстовыми последовательностями на входе и генерирует текст на выходе; поддерживаемый контекст составляет до 196 608 токенов. Языки явно не указаны. Квантизация весов и активаций линейных операторов внутри трансформерных блоков до формата NVFP4 уменьшает число бит на параметр с 8 до 4, а также примерно в 1,65 раза сокращает требования к дисковому пространству и видеопамяти. Модель ориентирована на развёртывание на NVIDIA GPU, прежде всего на системах с микроархитектурой Blackwell, и интегрируется с SGLang и vLLM под Linux. К сильным сторонам относятся большой контекст, поддержка задач рассуждения и программирования, а также сниженные требования к памяти благодаря квантизации. Ограничения включают зависимость от совместимого оборудования NVIDIA и необходимость дополнительного тестирования на данных конкретного сценария; характеристики исходной MiniMax-M2.5, включая детальные языковые возможности, в предоставленных данных не раскрыты. Использование регулируется NVIDIA Open Model License; дополнительно указана Modified MIT License исходной модели MiniMax-M2.5. Версия квантизации создана с использованием NVIDIA Model Optimizer 0.43.0.

Nemotron-Cascade-2-30B-A3B — открытая языковая модель NVIDIA с архитектурой Nemotron-H и смесью экспертов: при общем размере 30 млрд параметров активируется около 3 млрд. Модель дообучена на основе nvidia/Nemotron-3-Nano-30B-A3B-Base и предназначена для диалогов, сложных рассуждений и агентных сценариев. Она поддерживает режимы с рассуждениями и обычными инструкциями, а также интерфейс вызова инструментов через соответствующую конфигурацию. Модель работает с текстом и использует шаблон ChatML. Размер контекста по метаданным — 262 144 токена. В README сообщается о золотых медалях на Международной математической олимпиаде IMO и Международной олимпиаде по информатике IOI 2025. Для запуска через vLLM требуется версия не ниже 0.17.1. Указанный в метаданных язык — английский. Лицензия обозначена как other; конкретные условия следует сверить с карточкой модели на Hugging Face. Качество может зависеть от запроса и настроек генерации; заявленные результаты на олимпиадах не гарантируют такой же точности в других задачах.

Olmo-3.1-32B-Think — авторегрессионная Transformer-модель семейства OLMo, разработанная Allen Institute for AI (Ai2). Это вариант Think с 31,7 млрд параметров, дообученный на базе allenai/Olmo-3-32B-Think-DPO; в метаданных указан датасет Dolci-Think-RL. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Контекстное окно составляет 65 536 токенов, основным языком карточка называет английский. Модель предназначена для рассуждений и ответов на запросы по математике, программированию, общим знаниям и диалогу. Ai2 сообщает об улучшении решения задач благодаря длинным цепочкам рассуждений; в карточке приведены результаты тестирования, включая 96,2 балла на MATH и 80,6 на AIME 2024. Результаты бенчмарков не гарантируют точность ответов в конкретных сценариях. Модель распространяется в формате safetensors и использует библиотеку Transformers. Лицензия — Apache 2.0; Ai2 указывает на исследовательское и образовательное применение в соответствии с рекомендациями ответственного использования. Модель может выдавать неточные сведения и вредоносный или предвзятый контент, поэтому ответы следует проверять.

Qwen2.5-14B — базовая языковая модель серии Qwen2.5, разработанной командой Qwen. Это предварительно обученная плотная авторегрессионная модель на архитектуре Transformer с RoPE, SwiGLU, RMSNorm и смещениями в проекциях QKV; в ней 14 млрд параметров, 48 слоёв, 40 голов Q и 8 голов KV. Модель принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для дообучения и дальнейшей адаптации под генерацию текста, включая диалоги, следование инструкциям, программирование, математику и структурированные данные. Серия поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий и японский. В карточке этой базовой версии отмечены английский язык и интерфейс для вызова инструментов. Сильные стороны серии — работа с длинным контекстом, улучшенное следование инструкциям, генерация длинных текстов и структурированных результатов, в том числе JSON. Это базовая версия, поэтому авторы не рекомендуют использовать её для диалогов без дополнительного постобучения. Модель распространяется по лицензии Apache 2.0.

Это общественная конверсия модели Qwen/Qwen3-30B-A3B-Thinking-2507 в формат GGUF, подготовленная Geoff Munn для локального запуска через llama.cpp и совместимые приложения. Модель относится к семейству Qwen3 и предназначена для диалогов, генерации текста и задач, требующих рассуждений: решения математических задач, программирования, логического анализа и работы с инструментами. Режим рассуждений можно переключать командами /think и /no_think. В карточке указано 30 млрд параметров и поддержка множества языков; метаданные перечисляют английский, китайский, испанский, французский, немецкий, русский, арабский, японский, корейский и хинди. Репозиторий содержит GGUF-варианты разной степени квантования; README рекомендует более точные варианты для сложных задач и отмечает высокие требования к памяти. Конверсия не связана с разработчиками Qwen. Лицензия — Apache-2.0.

arnomatic/Qwen3-4B-Instruct-2507-heretic-av2 — производная чат-модель семейства Qwen3, созданная на основе Qwen3-4B-Instruct-2507 методом abliteration, который снижает склонность исходной модели отказывать в ответах. Это плотная причинная языковая модель с архитектурой Qwen3ForCausalLM, примерно 3,7 млрд параметров и нативным контекстом до 262 144 токенов; поддерживает только режим без «thinking». Предназначена для диалогов и генерации текста по инструкциям, включая рассуждения, математику, программирование, ответы на вопросы и вызовы инструментов. Карточка сообщает о многоязычных возможностях исходной модели, но не перечисляет поддерживаемые языки. В сравнении с исходной моделью в приведённом тесте число отказов снизилось с 100 из 100 до 19 из 100; это не означает полного отсутствия отказов и не является гарантией качества. Доступна в формате Safetensors для Transformers. Лицензия — Apache-2.0.

heretic-org/Qwen3-4B-Thinking-2507-heretic — производная языковая модель команды heretic-org на базе Qwen/Qwen3-4B-Thinking-2507. Это плотная авторегрессионная модель с 3,7 млрд параметров для генерации текста в диалоговом формате; она ориентирована на рассуждения и поддерживает контекст до 262 144 токенов. По карточке, модель прошла abliteration: доля отказов в приведённом тесте снизилась с 99 из 100 у исходной модели до 5 из 100. Модель предназначена для сложных запросов, включая логические задачи, математику, науку и программирование, а также для следования инструкциям, использования инструментов и генерации текста. Базовая модель работает только в режиме рассуждений; сведения в карточке о её возможностях и оценках относятся к Qwen3-4B-Thinking-2507 и не подтверждают, что все результаты сохраняются после изменения. Указаны Transformers, формат safetensors и лицензия Apache-2.0. Языки обучения или поддержки в предоставленных данных не определены.

mlx-community/Qwen3.5-9B-OptiQ-4bit — это квантизированная MLX-версия языковой модели Qwen/Qwen3.5-9B, разработанная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска на устройствах с Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, программирования, следования инструкциям, работы с инструментами и агентских сценариев. Модель использует смешанную точность: большинство слоёв представлены в 4-битном формате, а чувствительные к квантизации слои — в 8-битном. Всего квантизировано 248 слоёв: 132 в 8-битном и 116 в 4-битном формате; размер группы — 64. Калибровка выполнена на данных из шести доменов: проза, рассуждения, код, агенты, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 6,6 ГБ. В комплект входит MTP-голова для спекулятивного декодирования, обеспечивающая примерно 1,4-кратное ускорение генерации при использовании mlx-optiq. По приведённым тестам, смешанная квантизация немного превосходит стандартную равномерную 4-битную версию по совокупному Capability Score, а наиболее заметное преимущество показано в HumanEval. При этом она уступает равномерной квантизации в BFCL и тесте длинноконтекстного извлечения HashHop, а размер файла примерно на 1,1 ГБ больше. README не указывает архитектурные детали, длину контекста или языковой охват базовой модели. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

vrfai/Qwen3.6-27B-FP8 — мультимодальная модель для работы с текстом и изображениями, созданная на основе Qwen/Qwen3.6-27B. Исходную модель разработала команда Qwen (Alibaba Group), а FP8-квантизацию выполнил vrfai с использованием llm-compressor от vLLM Project. Модель предназначена для диалогов, генерации и анализа текста, программирования, а также задач, требующих обработки визуальной информации. Поддерживаются режимы с рассуждением и без него; README не содержит полного перечня языков и точных характеристик исходной модели, включая размер контекста. Используется статическая квантизация W8A8 FP8: веса и активации основных компонентов представлены в FP8 с симметричной по-тензорной схемой, при этом чувствительные компоненты, включая vision encoder, DeltaNet/linear-attention, merger и lm_head, сохранены в BF16. Формат compressed-tensors обеспечивает поддержку в vLLM. Такой подход снижает требования к памяти при сохранении качества лучше, чем более агрессивная NVFP4-квантизация; заявленный размер модели составляет около 34 ГБ. Для работы требуется GPU NVIDIA Ampere, Hopper или Blackwell с поддержкой SM 89+, рекомендовано использование vLLM или Transformers. Модель распространяется по лицензии Apache-2.0. Ограничениями являются необходимость совместимого современного NVIDIA GPU, использование trust_remote_code в приведённых примерах и отсутствие в предоставленном README подробных результатов бенчмарков, точного контекстного окна и полного описания языковой поддержки.

Lorbus/Qwen3.6-27B-int4-AutoRound — это квантизированная версия мультимодальной модели Qwen3.6-27B, разработанная на базе Qwen/Qwen3.6-27B с использованием Intel AutoRound. Модель предназначена для обработки текста и изображений, включая диалоговые сценарии, генерацию текста, объяснение сложных тем, программирование и задачи с визуальным вводом. Она совместима с Transformers и vLLM, поддерживает OpenAI-совместимый интерфейс, вызов инструментов и reasoning-сценарии. Модель представляет собой плотную VLM с 27 млрд параметров. Используется схема W4A16: веса хранятся в INT4, активации обрабатываются в FP16; размер группы — 128, квантование симметричное. Объём модели составляет около 18 ГБ вместо примерно 54 ГБ в BF16. Мультитокенная предсказательная голова MTP сохранена в BF16, что позволяет применять нативное speculative decoding в vLLM и получать примерно двукратное ускорение генерации в указанных тестах. Максимальная длина контекста в README демонстрируется до 262144 токенов. Сильные стороны модели — существенно сниженные требования к памяти, высокая скорость инференса и сохранение качества благодаря неквантизированным нормализующим слоям, router-слоям, отдельным проекциям и MTP-компоненту. Ограничения связаны с компромиссом INT4-квантования между точностью и эффективностью; заявленные показатели производительности получены на RTX 5090 и зависят от версии vLLM, аппаратного обеспечения и настроек KV-кэша. Визуальный энкодер MoonViT оставлен в исходной точности, поэтому выигрыш от квантования в основном относится к языковой части. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4 — это квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen. Квантизацию выполнила A2Genesis с использованием NVIDIA TensorRT Model Optimizer 0.45 и рецепта для семейства qwen3_5. Модель предназначена для генерации текста, рассуждений, программирования, работы с инструментами и сценариев image-text-to-text, включая обработку изображений при наличии соответствующей инфраструктуры. Модель использует смешанную точность: проекции MLP и lm_head представлены в NVFP4 с форматом W4A16, проекции внимания — в FP8, KV-кэш — в FP8, а vision tower, MTP head и отдельные свёрточные и gating-слои сохранены в BF16. Размер контрольной точки составляет около 21 ГБ вместо примерно 55 ГБ у BF16-версии. Доступен контекст до 262144 токенов при обслуживании через vLLM, а сохранение MTP-тензоров позволяет применять speculative decoding. Языки в README не указаны. Сильные стороны модели — существенно меньший размер, поддержка высокопроизводительного инференса на GPU Blackwell, совместимость с vLLM, инструментальными вызовами и сохранение мультимодальных компонентов. Ограничения связаны с потерями и возможными особенностями качества, характерными для посттренировочной квантизации; на видеокартах более ранних архитектур NVFP4 загружается через поддержку ModelOpt, но преимущества производительности могут быть ниже. Это общественная квантизация от A2Genesis, не связанная с официальной поддержкой Qwen или NVIDIA. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели Qwen3.8-27B.

PassingByPixels/Qwen3.8-27B-NVFP4 — это квантованная версия мультимодальной модели Qwen3.8-27B, разработанной Qwen и преобразованной в формат NVFP4 с помощью NVIDIA TensorRT Model Optimizer 0.45.0. Модель предназначена для генерации и понимания текста, анализа изображений и видео, программирования, профессиональных и исследовательских задач, а также многошаговых агентских сценариев. Квантование не включало обучение или дообучение и представляет собой lossy-преобразование исходных весов bf16. Модель содержит около 27 млрд параметров и использует архитектуру causal language model с vision encoder. Она включает 64 слоя, механизм Gated DeltaNet с линейным вниманием, Gated Attention, MTP и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 000 000 токенов посредством RoPE scaling, например YaRN. Поддерживаемый язык в карточке указан как английский. Ключевая часть параметров представлена в 4-битном формате NVFP4 с блочными масштабами, а vision tower, эмбеддинги, LM head, MTP head и Gated DeltaNet сохранены в более высокой точности bf16. Основное преимущество — существенно меньшее потребление памяти и возможность запуска на одном устройстве DGX Spark с 128 ГБ памяти через vLLM и Blackwell FP4 path. При этом README не содержит оценки качества квантованной версии по сравнению с исходной bf16-моделью, поэтому возможное снижение точности следует учитывать. Лицензия — Apache-2.0.

Карточка модели jondurbin/airoboros-33b-gpt4-2.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-65b-gpt4-2.0, поэтому описание составлено по ней. airoboros-65b-gpt4-2.0 — плотная языковая модель семейства LLaMA на 65 млрд параметров, дообученная jondurbin для следования инструкциям на синтетических примерах, созданных GPT-4. Серия 2.0 использует данные GPT-4 версии 0614; вариант m2.0 дополнительно объединяет набор данных 1.4.1 без дубликатов и категории system. Модель предназначена для диалоговых ответов, вопросов по предоставленному контексту, программирования, построения планов и генерации структурированных аргументов функций в JSON или YAML. Для диалога используется текстовый шаблон с ролями USER и ASSISTANT; заявленная длина контекста — 2048 токенов. В README для моделей 65B отмечено QLoRA-дообучение. Это текстовая модель, и качество её ответов не гарантирует точность: карточка рекомендует явно просить не придумывать ответ при недостатке данных. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование; коммерческое использование запрещено.

MaziyarPanahi/calme-2.1-rys-78b — диалоговая языковая модель, дообученная на базе dnhkng/RYS-XLarge. Она использует архитектуру Qwen2 с 76,7 млрд параметров, принимает текст и генерирует текст; для диалога применяется шаблон ChatML. Контекст модели составляет 32 768 токенов. Модель предназначена для ответов на вопросы, чат-ботов и виртуальных помощников, генерации и суммаризации контента, работы с кодом и решения сложных задач. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH, без достаточных сведений для независимой оценки качества в конкретных сценариях. Модель выпущена под лицензией MIT. Как и другие большие языковые модели, она может воспроизводить смещения и давать ошибочные ответы; при практическом применении рекомендуется проверка человеком.

CerebrumHyperion-7B-DPO — объединённая модель для генерации текста, созданная с помощью LazyMergekit путём слияния Locutusque/OpenCerebrum-1.0-7b-DPO и Locutusque/Hyperion-3.0-Mistral-7B-DPO. В README указан метод слияния SLERP, а базовой моделью в конфигурации названа Hyperion-3.0-Mistral-7B-DPO. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров. Она принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. По описанию базовой модели, семейство OpenCerebrum ориентировано на генерацию текста, программирование, математику, научные вопросы и рассуждения. Репозиторий содержит веса в формате safetensors. Сведений о лицензии в предоставленных данных нет.

stelterlab/DeepSeek-R1-Distill-Qwen-14B-AWQ — квантизированная версия модели DeepSeek-R1-Distill-Qwen-14B, разработанная сообществом stelterlab на основе оригинальных весов DeepSeek AI. Квантизация выполнена в формате INT4 GEMM с использованием AutoAWQ. Модель предназначена для задач рассуждения, решения математических и программных задач, генерации текста и других сценариев применения языковых моделей. Это плотная текстовая модель, дистиллированная из DeepSeek-R1 на базе Qwen2.5; заявлено, что дистилляция переносит эффективные паттерны рассуждений крупной модели в компактные модели. Размер данной версии — 14B параметров. Сведения о поддерживаемых языках и размере контекста в README не указаны. Ключевое преимущество версии AWQ — снижение требований к памяти и вычислительным ресурсам по сравнению с полноточными весами, что упрощает локальный запуск на совместимом оборудовании. Ограничения связаны с INT4-квантизацией: она может приводить к потере качества по сравнению с исходной моделью, а фактическая совместимость и производительность зависят от используемого ПО и оборудования. Модель распространяется по лицензии MIT.

bartowski/dolphin-2.9-llama3-8b-GGUF — это набор GGUF-квантизаций модели dolphin-2.9-llama3-8b, разработанной cognitivecomputations и подготовленной для локального запуска. Модель предназначена для генерации текста в диалоговых и инструкционных сценариях, включая ответы на вопросы, программирование, решение математических задач, function calling и агентские задачи. Обучение опиралось на наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, UltraChat, Orca Math и другие датасеты. Это текстовая модель на архитектуре Llama 3 с размером 8 млрд параметров. Репозиторий содержит версии от F16 до различных вариантов Q8, Q6, Q5, Q4, Q3 и IQ-квантизаций, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Квантизации выполнены с использованием llama.cpp и метода imatrix; для взаимодействия указан шаблон промпта ChatML. Поддержка мультимодальности, конкретные языки и размер контекстного окна в README не указаны. Сильной стороной модели является широкий набор обучающих данных и наличие множества вариантов для локального инференса, включая версии, оптимизированные для ARM. Более сильные квантизации обеспечивают лучшее качество, но требуют больше памяти, тогда как Q3-версии экономичнее, но заметнее теряют в качестве. Для запуска рекомендуется использовать совместимый инференс-движок, например llama.cpp или LM Studio. Лицензия обозначена как other, однако её точные условия в README не приведены.