II.3Рефакторинг, миграция и модернизация

QuantFactory/Qwen2.5-3B-Instruct-GGUF — квантизированная версия модели Qwen2.5-3B-Instruct, созданная QuantFactory с использованием llama.cpp на основе Qwen/Qwen2.5-3B-Instruct. Это каузальная языковая модель для генерации текста и диалоговых сценариев, включая следование инструкциям, ответы на вопросы, написание длинных текстов, работу со структурированными данными и генерацию JSON. Она также ориентирована на задачи программирования и математики. Модель содержит 3,09 млрд параметров, имеет 36 слоёв и архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и связанными эмбеддингами слов. Используется Grouped-Query Attention: 16 голов для Q и 2 для KV. Поддерживается контекст до 32 768 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Квантизация в формате GGUF предназначена для локального запуска через совместимое программное обеспечение на базе llama.cpp и может снизить требования к вычислительным ресурсам по сравнению с полноразмерной моделью. README не содержит сведений о конкретном уровне квантизации, точных требованиях к памяти, производительности или ограничениях качества, поэтому их нельзя определить по предоставленным данным. Модель распространяется по лицензии qwen-research; указанная лицензия доступна по ссылке на исходную модель Qwen/Qwen2.5-3B-Instruct.

ThomasBaruzier/Qwen2.5-3B-Instruct-GGUF — набор GGUF-квантизированных версий инструкционно дообученной языковой модели Qwen2.5-3B-Instruct. Исходную модель разработала команда Qwen компании Alibaba Cloud; данный репозиторий содержит квантизации, созданные с помощью llama.cpp и метода imatrix с использованием калибровочного файла Bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая следование инструкциям, создание длинных текстов, работу со структурированными данными и JSON, программирование и математические задачи. Она поддерживает более 29 языков, среди явно указанных — китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Это каузальная Transformer-модель с RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Модель содержит 3,09 млрд параметров, 36 слоёв и использует Grouped-Query Attention с 16 головами для Q и 2 для KV. Заявлена длина контекста до 32 768 токенов и генерация до 8192 токенов. Главное преимущество репозитория — выбор компромиссов между размером файлов, качеством и требованиями к памяти: варианты занимают примерно от 755 МБ до 5,9 ГБ, при этом качество квантования различается, поэтому наиболее компактные версии могут заметно уступать F16. Лицензия указана как qwen-research; применяются условия лицензии исходной модели Qwen2.5-3B-Instruct.

Qwen3.5-122B-A10B-NVFP4-Full-GB10 — мультимодальная квантованная версия модели Qwen/Qwen3.5-122B-A10B. Квантование выполнено с помощью llm-compressor по схеме NVFP4 W4A4: линейные слои, включая lm_head, используют 4-битные веса, а vision encoder сохранён в BF16. Модель предназначена для запуска и вывода на NVIDIA DGX Spark с чипом GB10 и обслуживается через vLLM при использовании специальной поддержки для NVFP4 lm_head. Архитектура включает 48 слоёв гибридного внимания, из которых 36 используют GDN/Gated-DeltaNet, а 12 — полноценное внимание, 256 маршрутизируемых экспертов и один общий эксперт на слой; активируются 8 экспертов. Размер скрытого представления — 3072, словарь содержит 248 320 токенов, заявленный контекст — до 262K токенов. Модель поддерживает обработку текста и изображений, однако языки в README не указаны. На DGX Spark заявлена скорость последовательной генерации около 33–35 токенов в секунду. Главное преимущество модели — максимальная скорость декодирования среди описанных вариантов и сниженные требования к памяти: размер контрольной точки составляет около 66 ГБ. Ограничением является небольшое ухудшение качества по сравнению с вариантом FP8Dense, особенно в понимании и передаче нюансов при длительном использовании; 4-битные активации и квантованный lm_head слегка уплощают распределение выходов. В контрольной точке отсутствуют веса MTP, поэтому спекулятивное декодирование недоступно. Модель распространяется по лицензии Apache-2.0.

FadedRedStar/Qwen3.5-4B-heretic-GGUF — это квантованные GGUF-веса мультимодальной модели Qwen3.5-4B-heretic. Исходную модель разработала команда Qwen компании Alibaba, а квантованием занимался FadedRedStar. Модель основана на плотном трансформере Qwen3.5 с примерно 4 млрд параметров, встроенным vision-энкодером раннего слияния и поддержкой текстовых и графических входов. Заявлены контекстное окно до 262 144 токенов с возможностью расширения примерно до 1 млн токенов, поддержка 201 языка и диалекта, формата запросов ChatML и вызова инструментов. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, работы с инструментами и агентских сценариев. Репозиторий содержит варианты Q4_K_M, Q5_K_M и Q8_0, а также отдельные vision-проекторы и файлы для speculative decoding; запуск мультимодального режима предполагает использование mmproj-файла, например через llama.cpp. Вариант Q4_K_M ориентирован на баланс размера и качества, Q5_K_M — на более высокую точность, а Q8_0 — на близкое к исходному качество при большем потреблении памяти. Суффикс heretic означает постобработку с помощью Heretic v1.2.0 и метода Multi-directional refusal suppression, выполненную автором исходной heretic-модели coder3101. Это снижает частоту отказов, однако заявленные метрики являются самотчётными и не подтверждены независимым тестированием; после такой модификации поведение и безопасность модели могут отличаться от оригинальной Qwen3.5-4B. Для 4- и 5-битных вариантов рекомендуется importance-matrix-калибровка, тогда как данный репозиторий особенно ориентирован на почти без потерь Q8_0. Модель распространяется по лицензии Apache-2.0.

mmangkad/Qwen3.6-27B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.6-27B, разработанной Alibaba и подготовленной с использованием NVIDIA Model Optimizer. Модель предназначена для генерации текста и может применяться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель построена на архитектуре Transformers, содержит 27 млрд параметров, принимает и генерирует текстовые последовательности и поддерживает контекст длиной до 262 тысяч токенов. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат NVFP4. Модель ориентирована на работу с NVIDIA GPU, совместима с архитектурой NVIDIA Blackwell и рассчитана на запуск через SGLang в Linux. Данные о поддерживаемых языках, полном составе обучающего набора и результатах комплексной оценки не раскрыты; среди указанных оценок есть benchmark GPQA. К сильным сторонам относятся готовая к развертыванию квантизация, большой контекст и оптимизация для инференса на совместимом оборудовании NVIDIA. Ограничения включают зависимость от поддерживаемой GPU-инфраструктуры и SGLang, а также возможное воспроизведение токсичных высказываний и социальных предубеждений из обучающих данных. Модель может выдавать неточные, неполные, нерелевантные или избыточные ответы. Распространение разрешено по лицензии Apache 2.0; при использовании также необходимо учитывать условия и требования базовой модели Qwen3.6-27B.

Карточка модели luckyChenY/think_99 на Hugging Face совпадает с карточкой Qwen/Qwen3-1.7B, поэтому описание составлено по ней. Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

ChatGLM3-6B-32K 是由 ChatGLM 项目团队开发的中文、英文对话模型，基于 ChatGLM3-6B，并针对长文本对话进行了扩展训练。 Это плотная архитектура ChatGLM примерно с 7,5 млрд параметров; модель принимает текст и поддерживает контекст до 32 768 токенов. Модель предназначена для многоходового диалога и работы с длинными текстами: она может отвечать на вопросы по объёмным материалам, обобщать их и поддерживать сценарии с вызовом инструментов и исполнением кода, заявленные для семейства ChatGLM3. В карточке также указаны задачи генерации текста и классификации текста. Для контекстов до 8K токенов разработчики рекомендуют ChatGLM3-6B; вариант 32K рассчитан на более длинный ввод. Модель работает с PyTorch и Transformers. Веса открыты для академических исследований; бесплатное коммерческое использование допускается после регистрации через анкету.

Dolphin X1 8B — языковая модель для генерации текста, разработанная командой Dolphin на основе dphn/Dolphin-X1-8B и Llama 3.1 8B Instruct. Версия с идентификатором dphn/Dolphin-X1-8B-GGUF предназначена для запуска моделей в формате GGUF. Модель ориентирована на общее назначение и диалоговое взаимодействие, включая сценарии, аналогичные использованию универсальных ассистентов. Модель имеет архитектуру Llama 3.1 с размером около 8 миллиардов параметров и поддерживает текстовую модальность. Она сохраняет стандартный шаблон чата Llama 3 и позволяет задавать тон, характер и правила поведения через системный промпт. Заявленная особенность Dolphin — повышенная управляемость: владелец приложения самостоятельно определяет системные инструкции, выравнивание и способы обработки данных. Сведения о поддерживаемых языках и размере контекста в README не указаны. К сильным сторонам относятся универсальность, возможность локального или контролируемого развёртывания, совместимость с Ollama, LM Studio, Transformers, vLLM, SGLang и TGI, а также стремление сохранить или улучшить возможности Llama 3.1 8B Instruct при снижении ограничений на ответы. Ограничения модели и её поведения зависят от выбранных инструкций и настроек выравнивания; заявленная доля успешного прохождения набора Dolphin-refusals составляет 95,96%, а показатели MMLU и IFEVAL приведены в README без дополнительного описания методики. Лицензия указана как Llama 3.1.

FINAL-Bench_Darwin-28B-Opus-GGUF — GGUF-квантизации модели Darwin-28B-Opus, разработанной FINAL-Bench и подготовленной квантизатором bartowski. Модель создана как эволюционное объединение Qwen/Qwen3.6-27B и варианта Qwen3.6-27B с дистиллированным стилем рассуждений Claude Opus. Она предназначена для генерации текста, решения сложных задач и углублённого рассуждения, включая сценарии, требующие пошагового анализа и режима thinking. В основе лежит плотная архитектура поколения Qwen3.6 с гибридным сочетанием линейного и полноформатного внимания: 64 слоя, соотношение три линейных слоя к одному слою полного внимания, размер скрытого состояния 5120 и 27,6 млрд параметров в исходной BF16-версии. Заявлены поддержка английского, китайского, корейского и японского языков, а также многоязычных сценариев. Точная длина контекста в карточке не указана и унаследована от базовой модели. Для GPQA Diamond заявлена точность 88,89% по протоколу адаптивной оценки из трёх этапов, однако результат помечен как непроверенный. Сильные стороны модели — крупный объём параметров, ориентация на продвинутое рассуждение и сочетание возможностей Qwen3.6 с дистиллированным стилем Claude Opus. Ограничения включают высокие требования к ресурсам по сравнению с небольшими моделями, отсутствие точных сведений о длине контекста в данной карточке и то, что доступные GGUF-квантизации являются статическими, без imatrix. Модель распространяется по лицензии Apache 2.0.

Gemma4 E4B 8B Heretic Ultra — версия Gemma 4 E4B Instruct от Google DeepMind, обработанная llmfan46 с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA) для снижения склонности к отказам. Это плотная мультимодальная модель семейства Gemma 4 для диалога и генерации ответов по тексту, изображениям и аудио. В репозитории доступны исходные веса fp16 в формате safetensors; в отдельной ветке размещена конверсия MLX 4-bit для mlx-lm на Apple Silicon. Модель подходит для диалоговых сценариев, рассуждений, программирования, анализа изображений и обработки аудио. В приведённых автором тестах доля отказов составила 3 из 100 против 99 из 100 у исходной модели; точность на PIQA составила 85,85%, а на MMLU — 68,60%. Эти результаты относятся к указанным тестам и не гарантируют качество в других задачах. Ablation немного снизила результаты относительно исходной Gemma 4 E4B Instruct. Лицензия — Apache 2.0. Поскольку модель специально изменена для снижения отказов, она может отвечать на запросы, которые исходная модель отклоняла; следует учитывать это при выборе сценариев применения.

DAXZEIT/GRM-2.6-Plus-0628-MTP-reasoning-i1-GGUF — это набор квантованных GGUF-сборок модели OrionLLM/GRM-2.6-Plus-0628, предназначенной для агентных сценариев, рассуждений, работы с инструментами и задач «изображение—текст». Базовая модель имеет около 27 млрд параметров, архитектуру на основе Qwen3.5/3.6 с MTP-слоем и гибридными gated DeltaNet-рекуррентными слоями. Для работы с изображениями требуется мультимодальный проектор mmproj. В README продемонстрирована конфигурация с контекстом до 262 144 токенов. Сборки используют reasoning-domain importance matrix, оптимизированную для задач рассуждения, а также повышенную точность для ключевого тензора ssm_out во всех DeltaNet-слоях. Доступны варианты квантования от IQ2_M до Q6_K размером примерно от 10,1 до 21,3 ГиБ; более высокая разрядность обычно обеспечивает меньшие отклонения от исходных bf16-весов и лучшее совпадение предсказаний, но требует больше памяти. Встроенный шаблон чата исправляет обработку вызовов инструментов внутри рассуждений и поддерживает агентные циклы. Модель подходит для локального запуска через llama.cpp, включая speculative decoding с MTP, обработки текста и изображений, а также приложений с большим контекстом. Ограничения связаны с потерями точности из-за квантования, требованиями к видеопамяти и необходимостью корректно настроить llama.cpp, мультимодальный проектор и параметры контекста. Поддерживаемые языки в README не указаны. Лицензия — Apache-2.0.

Hunyuan-0.5B-Instruct — компактная инструктивная языковая модель Tencent, дообученная на базе tencent/Hunyuan-0.5B-Pretrain. Это плотная авторегрессионная модель семейства Hunyuan V1 Dense с 463,5 млн параметров, доступная в формате safetensors и предназначенная для генерации текста в диалоговом режиме. Модель подходит для ответов на запросы и инструкций, рассуждений, задач по математике и коду, а также для агентных сценариев с интерфейсом вызова инструментов. Она поддерживает режимы быстрого и пошагового рассуждения и контекст до 262 144 токенов; в README также отмечены Grouped Query Attention и варианты квантования для эффективного развёртывания. В метаданных не перечислены поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя. Модель относится к линейке общего назначения, а приведённые в README результаты тестов относятся к отдельным оценкам и не гарантируют качество на конкретных запросах. Для этой модели в предоставленных данных не указана лицензия.

Saxo/Linkbricks-Horizon-AI-Japanese-Superb-V6-70B — языковая модель Linkbricks, дообученная директором по данным Юнсоном Джи (Saxo) на базе V5. Модель семейства Llama с плотной архитектурой содержит 69,5 млрд параметров и принимает контекст длиной до 131 072 токенов. Веса доступны в формате Safetensors по лицензии Apache-2.0. Модель предназначена для генерации текста и диалогов, а также для многоязычных задач на японском, корейском, китайском и английском языках. В карточке заявлены усиленная работа с отзывами и публикациями в социальных сетях, программированием, письмом, математикой и логическими задачами, а также интерфейс вызова функций и инструментов. Обучение включало японский SFT и DPO, многоязычные данные и корпус японских новостей и Википедии.

casperhansen/llama-3.2-3b-instruct-awq — это общественно созданная AWQ-квантизованная версия текстовой instruction-tuned модели Llama 3.2 3B Instruct, разработанной Meta. Репозиторий содержит модель примерно на 3 млрд параметров в формате Safetensors с 4-битным представлением AWQ, предназначенным для снижения требований к памяти и запуска на устройствах с ограниченными вычислительными ресурсами. Модель рассчитана на многоязычный диалог, следование инструкциям, ассистентские сценарии, извлечение знаний, суммаризацию, написание и перефразирование текста. Архитектура — авторегрессионный оптимизированный Transformer с Grouped-Query Attention; исходная модель обучена с применением supervised fine-tuning и reinforcement learning from human feedback. Это текстовая модель: принимает и генерирует текст, включая код. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Сильные стороны — небольшой размер, сниженное потребление памяти благодаря 4-битной AWQ-квантизации, 3.21 млрд параметров и пригодность для локального инференса. Ограничения включают меньшую мощность по сравнению с более крупными моделями, текстовый характер без обработки изображений и возможные потери качества из-за квантизации. Для исходной текстовой Llama 3.2 заявлен контекст до 128k токенов, а для квантизованных вариантов — до 8k токенов; дата отсечения знаний — декабрь 2023 года. Для базовой Llama 3.2 применяется специальная коммерческая Llama 3.2 Community License с требованиями к перераспределению, указанием атрибуции и соблюдением Acceptable Use Policy. В карточке репозитория casperhansen отдельная лицензия не указана, поэтому условия использования следует проверять с учётом лицензии исходной модели Meta.

unsloth/Llama-3.3-70B-Instruct — инструктивная мультиязычная языковая модель Meta на архитектуре Llama 3.3, представленная в формате safetensors. Это авторегрессионный трансформер с 69,5 млрд параметров, обученный следовать инструкциям с помощью SFT и RLHF. Модель принимает и генерирует текст; поддерживает диалоговые сценарии и интерфейс вызова инструментов, который разработчики интегрируют самостоятельно. Контекст — до 131 072 токенов. Модель предназначена для чат-ассистентов и генерации текста, в том числе для коммерческого и исследовательского применения. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Условия распространения определяются пользовательской лицензией Llama 3.3 Community License; перед использованием следует соблюдать её положения и Acceptable Use Policy. Модель статична и обучена на офлайн-данных; качество и безопасность ответов требуют проверки, а для неподдерживаемых языков разработчик рекомендует дообучение и дополнительные системные меры.

MrFuzzihead/Nex-N2.5-mini-APEX-GGUF — набор GGUF-квантизированных вариантов мультимодальной агентной модели Nex-N2.5-mini, разработанной Nex-AGI. Квантизация выполнена MrFuzzihead методом APEX, созданным командой LocalAI для llama.cpp и учитывающим структуру Mixture-of-Experts. Модель предназначена для долгих агентных сценариев в реальном мире: управления компьютером, веб-сёрфинга, визуально обоснованных рабочих процессов, проверки результатов и самокоррекции. Она также поддерживает генерацию текста, рассуждения и вызов инструментов. Базовая модель содержит около 35 млрд параметров, использует 256 маршрутизируемых экспертов, из которых 8 активируются на каждом токене, а также общего эксперта. Архитектура включает 40 слоёв с гибридом полного внимания и линейного внимания/SSM; полное внимание используется только в 10 слоях, что снижает нагрузку на KV-кэш. Поддерживаются текст, изображения и видео с временными патчами, контекст до 262 144 токенов, адаптивное рассуждение с уровнями none, medium и high, а также вызов функций в формате Qwen3-Coder. Основной язык и полный перечень языков README не уточняет. Репозиторий предлагает варианты размером примерно от 10,15 до 23,60 ГБ и отдельные vision-проекторы BF16 или Q8_0. Это позволяет выбирать между качеством и требованиями к памяти: старшие варианты рассчитаны примерно на видеокарты с 24 ГБ памяти, компактные — на 12–24 ГБ. APEX применяет разную точность к экспертам, слоям, вниманию и SSM, сохраняя более высокую точность в важных компонентах; варианты с importance matrix ориентированы на лучшее качество и меньшую потерю информации. Ограничения включают неизбежные потери качества квантизации, дополнительные требования к памяти для vision-проектора, KV-кэша и служебных накладных расходов, а также зависимость совместимости от llama.cpp и поддержки мультимодального запуска. Лицензия — Apache-2.0.

IsValorum/Nex-N2.5-mini-APEX-I-MiniPlus-GGUF — это квантизированная GGUF-версия модели Nex-N2.5-mini, разработанной Nex-AGI и дополнительно оптимизированной IsValorum. Модель основана на архитектуре qwen35moe с 35,1 млрд параметров и использует многомодельную экспертную архитектуру MoE. В комплект входят основная модель размером около 14,56 ГБ с квантизацией 3,36 BPW и отдельный vision-проектор mmproj в формате Q8_0 размером около 610 МБ. Модель предназначена для рассуждений, вызова функций и инструментов, автономного взаимодействия с компьютером, обработки изображений и анализа графического интерфейса. Заявлены мультимодальные возможности, высокоточное визуальное сопоставление и поддержка высокоразрешённых изображений. В README перечислена поддержка английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Также заявлена работа с контекстом до 256K токенов, однако подробные параметры этой поддержки в представленном фрагменте не приведены. Главные особенности квантизации — сохранение выходного слоя в Q6_K, маршрутизаторов экспертов в F32 и использование разных уровней точности для внимания и экспертных блоков. Это должно повышать стабильность синтаксиса, маршрутизации экспертов и рассуждений по сравнению с более агрессивными низкобитными вариантами, сохраняя умеренные требования к памяти и производительность на CPU. Ограничения связаны с потерями, неизбежными для квантизированной модели, потребностью примерно в 14 ГБ памяти для основной модели и тем, что это предыдущая, или legacy, версия MiniPlus. Для использования требуется совместимый рантайм GGUF, например llama.cpp. Лицензия — Apache-2.0.

Qwen2.5-32B-Instruct-MLX-8bit — квантованная 8-битная версия инструкционной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантование в формате MLX выполнено bartowski на основе инструментов mlx-examples. Модель предназначена для генерации текста и диалоговых сценариев, включая понимание и создание структурированных данных, работу с широким спектром знаний и использование в совместимых приложениях на Mac с Apple Silicon. Модель содержит 32 миллиарда параметров, поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Заявлена поддержка более 29 языков, среди которых английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Квантование снижает требования к ресурсам по сравнению с полной версией, однако README не приводит точных показателей производительности или требований к памяти. Как и другие генеративные модели, она может создавать неточный, вредный или неподходящий контент. Модель распространяется по лицензии Apache-2.0.

Richard Young подготовил декензурированную версию Qwen2.5-3B-Instruct с помощью Heretic v1.4.0. Это плотная причинная языковая модель на 3,1 млрд параметров для диалоговой генерации текста. Она подходит для чат-ботов, ответов на инструкции, написания и анализа текста, а также задач по программированию и математике. Модель принимает текст и выдаёт текст; контекст составляет 32 768 токенов, поддерживается генерация до 8 192 токенов. В основе лежит Qwen2.5-3B-Instruct с архитектурой Qwen2ForCausalLM; заявлены RoPE, SwiGLU, RMSNorm и grouped-query attention. README указывает многоязычную поддержку более чем 29 языков, включая русский и английский. В приведённом сравнении модель отказала в 3 случаях из 100 против 96 у исходной версии, поэтому её следует считать менее склонной к отказам при запросах на чувствительные темы. Это не означает гарантии полноты или точности ответов. В метаданных лицензия обозначена как other, а README не содержит её условий, поэтому перед использованием следует проверить лицензию на странице модели и базовой модели. Модель предназначена для работы через библиотеку Transformers.

FastFlowLM/Qwen3-0.6B-NPU2 — языковая модель семейства Qwen3, разработанная командой Qwen; в README она указана как производная от базовой модели Qwen/Qwen3-0.6B. Это причинная языковая модель для генерации и продолжения текста, диалогов, следования инструкциям, решения математических и логических задач, генерации кода, творческого письма, перевода и сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимами рассуждения и обычного ответа в рамках одного запроса. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не относятся к embedding, и включает 28 слоёв. Используется Grouped Query Attention с 16 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. В README заявлена поддержка более 100 языков и диалектов, однако для данной карточки явно указан язык English. Модель относится к текстовой модальности; сведения о поддержке изображений, аудио или видео отсутствуют. Сильными сторонами являются компактный размер, возможность выбора между более глубоким рассуждением и эффективной генерацией, а также ориентация на диалоги, инструкции, мультиязычные задачи и работу в агентных сценариях. Ограничения включают небольшой объём параметров по сравнению с крупными моделями и отсутствие в README подробных результатов бенчмарков, требований к оборудованию и специфических характеристик варианта NPU2. Для использования рекомендуется актуальная версия библиотеки Transformers; также указана совместимость с vLLM и SGLang. Лицензия — Apache-2.0.

RedHatAI/Qwen3-1.7B-quantized.w4a16 — компактная языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen/Qwen3-1.7B от Qwen. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания специализированных решений после дообучения. Она принимает текст и генерирует текст, поддерживая архитектуру Qwen3ForCausalLM и контекст длиной до 40960 токенов в конфигурации оценки. Ключевая особенность модели — INT4-квантизация весов линейных операторов в трансформерных блоках. Используется асимметричная поканальная по группам схема с размером группы 64 и алгоритм GPTQ, реализованный в llm-compressor; веса lm_head не квантизуются. Переход с 16 до 4 бит уменьшает размер на диске и требования к GPU-памяти примерно на 75%, что делает модель более удобной для эффективного развертывания, в частности через vLLM. К ограничениям относятся возможные потери качества, связанные с квантизацией, а также отсутствие в README количественных результатов оценки и подробного перечня поддерживаемых языков. Лицензия модели — Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

ulkaa/Qwen3.8-27B-AWQ-INT4 — это квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем ulkaa. Модель предназначена для генерации и понимания текста, работы с изображениями и задач с большим контекстом. Она использует архитектуру Qwen3_5ForConditionalGeneration, поддерживает сохранённую vision tower в формате BF16 и рассчитана на применение через Transformers и SGLang, в частности на GPU Intel Arc Pro. Модель сжимает веса методом AWQ в формате compressed-tensors pack-quantized по схеме W4A16 с асимметричной квантизацией и размером группы 128. Размер артефакта составляет 18,2 GiB против 55,6 GiB у исходной BF16-версии. Большая часть параметров хранится в четырёхбитном виде, а vision tower, MTP head, embeddings, lm_head, нормализации и отдельные малые компоненты сохраняются в BF16. Основная конфигурация поддерживает контекст до 262 144 токенов; ревизия 1m с YaRN расширяет его до 1 048 576 токенов. К сильным сторонам относятся существенно сниженные требования к памяти, поддержка мультимодальных сценариев, длинного контекста и спекулятивного декодирования через встроенный MTP head либо внешнюю модель Qwen3.8-27B-DFlash2. К ограничениям относятся ожидаемое расхождение результатов с BF16-версией, необходимость проверки качества на собственных данных и зависимость оптимизированного сценария обслуживания от SGLang, Intel XPU и соответствующей конфигурации. Для DFlash2 не поддерживаются запросы с возвратом logprob. Модель распространяется по лицензии Apache-2.0.

utautako/Qwen3.8-27B-NVFP4-MTP-Q8attn-GGUF — это квантованная GGUF-версия модели Qwen3.8-27B, разработанной командой Qwen. Конверсию выполнил автор репозитория с использованием NVIDIA ModelOpt: MLP-слои представлены в формате NVFP4, а проекции attention и линейного внимания DeltaNet сохранены в Q8_0 для повышения точности, особенно при работе с длинным контекстом. Модель предназначена для запуска через llama.cpp. Модель поддерживает текстовые и визуальные сценарии: для обработки изображений поставляется отдельный BF16 vision projector, совместимый с путём Qwen3-VL. Архитектура содержит 64 текстовых слоя и один MTP-слой для speculative decoding; общий размер основного файла составляет около 17,81 GiB, а плотность — примерно 5,60 бит на вес. Заявлена поддержка контекста до 213056 токенов в текстовом режиме и до 163840 токенов при подключённом vision projector на RTX 5090 с 32 ГБ видеопамяти. К сильным сторонам относятся сохранение качества attention-компонентов за счёт Q8_0, поддержка изображений и ускорение генерации с помощью MTP: на RTX 5090 производительность достигает примерно 120–130 токенов в секунду, что примерно вдвое выше авторегрессионного режима. Ограничения включают зависимость от совместимой версии llama.cpp, значительные требования к видеопамяти и снижение эффективности speculative decoding при глубине чернового предсказания четыре и более. Модель распространяется по лицензии Apache-2.0.

MIRALABS/Qwen3.8-27B-W4A16-AutoRound — 4-битная квантованная версия модели Qwen/Qwen3.8-27B, разработанная MIRALABS на основе базовой модели Qwen. Модель предназначена для генерации текста и обработки изображений с текстом; заявлены английский и китайский языки. Поддерживает рассуждения, вызов инструментов и работу в режиме image-text-to-text. Модель использует INT4-квантизацию весов при BF16-активациях (W4A16), алгоритм AutoRound 0.14.2 с размером группы 128 и формат compressed-tensors для ядер Marlin в vLLM. Размер файлов составляет около 19,5 ГБ. Нативный контекст — 262 144 токена, а с YaRN заявлена поддержка до 1 000 000 токенов. Квантование заметно снижает требования к памяти по сравнению с версией BF16, при этом запуск рассчитан на видеокарты Ampere и новее, включая RTX 3090, RTX 4090 и A100. Сильными сторонами являются большой контекст, поддержка мультимодального ввода, режима рассуждений и эффективный запуск через vLLM на распространённых GPU. Ограничения связаны с требованиями к видеопамяти: на одной RTX 3090 веса помещаются, но полный контекст 262 144 токена недоступен; для длинного контекста рекомендуется несколько GPU или другой формат. Модель использует AutoRound, а не AWQ, GGUF или NVFP4. Распространяется по лицензии Apache 2.0, как и базовая модель.

Spark-X2.5-1.7B-GGUF — компактная языковая модель в формате GGUF, разработанная XHToken на базе XHToken/Spark-X2.5-1.7B. Она предназначена для общего назначения: диалогов, написания и перевода текстов, рассуждений, программирования, использования инструментов и агентских сценариев. Модель имеет гибридную архитектуру внимания и поддерживает нативный контекст длиной до 1 миллиона токенов. Заявлена поддержка более 200 языков; в карточке модели отдельно указаны английский и китайский. Размер базовой модели — 1,7 млрд параметров. Формат GGUF ориентирован на локальный запуск с помощью llama.cpp, Ollama, LM Studio и Unsloth, однако для нативной поддержки архитектуры требуются совместимые версии этих инструментов. К сильным сторонам относятся компактный размер, широкий набор задач, многоязычность, очень длинный контекст и возможность локального развертывания. README не содержит результатов тестирования, подробностей обучения, сведений о конкретных вариантах квантования или детального описания ограничений качества, поэтому производительность в отдельных задачах по этим данным оценить нельзя. Модель распространяется по лицензии Apache License 2.0.

AtomicChat/gemma-4-12B-it-GGUF — это квантизированная в формат GGUF версия мультимодальной модели google/gemma-4-12b-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также сценарии, требующие развитого рассуждения; для изображений в репозитории предусмотрен vision-проектор mmproj. Модель содержит около 11,95 млрд параметров и 48 слоёв. Это плотный decoder с гибридным вниманием: скользящее окно на 1024 токена сочетается с глобальным вниманием. Заявленная длина контекста составляет 256 тысяч токенов, размер словаря — 262 тысячи; архитектура использует 16 attention heads и 8 KV heads. Доступны варианты квантизации от Q2_K до Q8_0, включая IQ3_M и IQ4_XS с importance matrix. Q4_K_M указан как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность ценой требований к памяти. К преимуществам относятся мультимодальность, большой контекст, возможность локального запуска и квантизация с importance matrix, снижающая потери качества в низкобитных вариантах. Ограничения связаны с зависимостью качества и скорости от выбранного варианта квантизации и доступной RAM или VRAM; для корректного применения шаблона чата требуется режим --jinja, а для изображений — vision-проектор и совместимый интерфейс. Результаты в README относятся к базовой модели Google и не являются собственными измерениями Atomic Chat. Лицензия — Apache 2.0.

granite-4.2-30b-MLX-4bit — 4-битная квантованная версия языковой модели granite-4.2-30b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием MLX и оптимизировано для запуска на устройствах с Apple Silicon. Модель предназначена для генерации текста, рассуждений, работы с инструментами и сценариев tool-calling. Модель поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. В README не указаны точная архитектура, размер контекстного окна, доступные модальности и дополнительные показатели качества. Квантование в 4 бита снижает требования к памяти и делает модель более подходящей для локального запуска на Apple Silicon, однако может сопровождаться потерей качества по сравнению с исходной версией. Условия использования определяются лицензией Apache 2.0.

infosave/Granite-4.2-cmf — набор квантизированных плотных reasoning-моделей семейства IBM Granite 4.2, основанных на моделях IBM Granite 3B, 8B и 30B. Репозиторий подготовлен для среды Cortiq и содержит артефакты CMF с весами, токенизатором, точным шаблоном чата и хешами целостности. Модели предназначены для генерации текста, диалогов, многошагового рассуждения, работы с инструментами и многоходовым контекстом. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Доступны профили Q4TP и Q8_2F. Q4TP использует смешанную точность: основные проекции квантизированы в 4-битный формат, а границы словаря — в 8-битный; Q8_2F обеспечивает более высокое качество за счёт 8-битного представления проекций. Размер файлов составляет примерно от 2,17 до 29,31 ГБ в зависимости от варианта. Поддерживаются CPU, Vulkan, DX12 и Metal без обязательной установки Python, PyTorch или CUDA toolkit. Контекст модели — 131 072 токена; заявленное IBM расширение до 512K в этих файлах не реализовано. Преимущества — компактность, переносимость, сохранение специфичной архитектуры Granite и возможность работы при ограниченной VRAM с переносом части слоёв на CPU. Ограничения — необходимость значительных ресурсов для вариантов 8B и 30B, снижение качества у Q4TP по сравнению с Q8_2F и отсутствие заявленной поддержки контекста 512K. Распространение осуществляется по лицензии Apache-2.0.

Llama3.1-Typhoon2-8B-Instruct — модель для выполнения инструкций, разработанная командой Typhoon AI на основе Llama 3.1 8B. Это плотная авторегрессионная модель семейства Llama с примерно 7,5 млрд параметров; метаданные указывают контекст до 131 072 токенов. Репозиторий содержит веса в формате Safetensors, а для работы требуется Transformers версии 4.45.0 или новее. Модель предназначена прежде всего для диалогов и выполнения инструкций на тайском и английском языках. Среди сценариев — ответы на вопросы, работа с длинным контекстом, вызов функций, а также задачи по математике и программированию. В приведённых авторами тестах показаны результаты для обоих языков, включая тайское переключение между языками и вызов функций. Авторы отмечают, что модель продолжает разрабатываться и может выдавать неточные, предвзятые или нежелательные ответы; встроенные защитные механизмы лишь частичны. Модель распространяется по лицензии Llama 3.1 Community License, поэтому перед использованием необходимо соблюдать её условия.

Meta Llama 3.3 70B Instruct — мультиязычная генеративная языковая модель Meta для диалогов и следования инструкциям. Это авторегрессионный трансформер на 70 млрд параметров, дообученный с помощью supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей. Модель принимает и выдаёт текст, поддерживает контекст до 128 тысяч токенов и оптимизирована для диалоговых сценариев. Модель подходит для создания ассистентов, ответов на вопросы, написания и преобразования текстов, а также генерации синтетических данных. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; русский среди них не указан. Для инференса описана библиотека Transformers, а контрольные точки можно использовать с 8- и 4-битной загрузкой через bitsandbytes для снижения требований к памяти. Модель статична и обучена на офлайн-данных с отсечкой знаний в декабре 2023 года. Она не принимает изображения, аудио или видео; качество и безопасность ответов требуют оценки и мер защиты в конкретном приложении. Использование регулируется пользовательским соглашением Llama 3.3 Community License, включая его ограничения и Acceptable Use Policy.