II.3Рефакторинг, миграция и модернизация

LargitData/gemma-4-26b-a4b-it-fp8 — производственный офлайн-чекпойнт в формате FP8 Dynamic, созданный Largitdata Inc. на основе Google Gemma 4 26B-A4B-it. Модель предназначена для локального и серверного инференса через vLLM, включая развёртывание OpenAI-совместимого API и сценарии с несколькими одновременно обслуживаемыми пользователями. Заявленная поддержка языков — английский и китайский; тип задачи — генерация текста. Модель использует архитектуру mixture-of-experts (MoE), а её базовый размер обозначен как 26B-A4B. Максимальная длина контекста в приведённых тестах составляла 32 768 токенов. Ключевая особенность — динамическое FP8-квантование без предварительной калибровки и без квантования весов MoE-роутеров и 1D-тензоров нормализации, что обеспечивает совместимость с путём загрузки Gemma 4 в vLLM. На NVIDIA H200 NVL чекпойнт занимал 25,75 GiB памяти против 48,5 GiB у BF16-версии, обеспечивал на 80% больший размер KV-кэша и почти 39-кратную максимальную параллельность для запросов длиной 32K токенов. В тесте MMLU-Pro точность составила 81,33% против 81,59% у BF16-базовой модели. Ограничения включают примерно на 6% большую задержку одиночного запроса по сравнению с BF16, отсутствие результатов по MT-Bench и другим бенчмаркам, а также ограниченную проверку оборудования: тестирование проводилось только на NVIDIA H200 NVL. Поведение на других GPU и влияние исключения роутеров из квантования требуют дополнительной оценки. Артефакт не является официальным релизом Google; применяются условия лицензии Gemma, указанной для базовой модели.

RedHatAI/GLM-5.3-Flash-NVFP4 — квантизированная версия модели zai-org/GLM-5.3-Flash, разработанная RedHatAI. Модель использует архитектуру Glm5NextForConditionalGeneration, принимает текст и изображения и генерирует текст. Заявленные языки — английский и китайский. Размер модели и длина контекста в предоставленных данных не указаны. Веса и активации линейных операторов MoE-экспертов квантизированы в формат FP4 (NVFP4), а слои MTP сохранены в FP8. Квантизация выполнена с помощью LLM Compressor, модель экспортирована в формате compressed-tensors и предназначена для инференса через vLLM. По данным README, такое сжатие примерно на 50% уменьшает объём диска и требования к памяти GPU для квантизированных весов по сравнению с 8-битным представлением. Также заявлена поддержка speculative decoding и автоматического выбора инструментов при соответствующей настройке vLLM. Модель ориентирована на мультимодальные и текстовые сценарии генерации, включая задачи рассуждения. В приведённой оценке она показала 97,74% на GSM8K Platinum, 94,87% на MATH-500, 86,67% на AIME 2025 и 90,57% на GPQA Diamond; результаты усреднены по нескольким запускам. Ключевое преимущество — снижение потребления дисковой и GPU-памяти при сохранении возможностей исходной модели, однако FP4-квантизация может влиять на качество и требует совместимой инфраструктуры. Модель распространяется по лицензии MIT.

GPT-6 Astra Pro — вариант GPT-6 Astra от OpenAI, работающий с параметром reasoning.mode, установленным в pro. Он предназначен для получения более качественных ответов на сложные задачи. README направляет к документации OpenAI за дополнительными сведениями; данных об архитектуре, размере, модальностях, языках, контексте и лицензии в доступной карточке нет.

furiosa-ai/gpt-oss-20b — версия openai/gpt-oss-20b, подготовленная для запуска на ускорителях FuriosaAI RNGD с использованием Furiosa-LLM. Это авторегрессионная текстовая модель с архитектурой Mixture-of-Experts (MoE), ориентированная на задачи рассуждения, генерации текста и сценарии с пониженной задержкой, включая локальное или периферийное развертывание. Модель принимает текст и генерирует текст, поддерживает английский язык и совместима с OpenAI-совместимым API Furiosa-LLM. Модель формирует рассуждение отдельно от итогового ответа в формате harmony, поддерживает настраиваемую глубину рассуждений с параметром reasoning_effort со значениями low, medium и high, а также вызов инструментов через function calling. Веса экспертов MoE квантизованы в MXFP4, тогда как attention, router и embeddings сохраняются в более высокой точности. На RNGD используется tensor parallelism с размером 8 PE, соответствующим одной карте RNGD. Размер модели заявлен как 20B, однако сведения о контекстном окне в README отсутствуют. Сильными сторонами являются поддержка рассуждений, инструментов и эффективного запуска на специализированном оборудовании FuriosaAI. Ограничения включают зависимость от Furiosa-LLM и FuriosaAI RNGD для описанного варианта развертывания, а также отсутствие в README подробных данных о качестве, бенчмарках и поддерживаемых языках за пределами английского. Модель распространяется по лицензии Apache 2.0.

Granite-4.0-350M-Base — компактная базовая языковая модель IBM Granite Team, обученная с нуля для генерации текста при ограниченных вычислительных ресурсах. Она предназначена для локального и офлайн-применения, в том числе на смартфонах и IoT-устройствах, а также для дообучения под специализированные задачи. Модель имеет плотную decoder-only архитектуру трансформера GraniteMoeHybridForCausalLM с GQA, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Она содержит 352,3 млн параметров, поддерживает контекст до 32 768 токенов и дополнение кода по схеме Fill-in-the-Middle. В карточке указана поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Модель подходит для суммаризации, классификации и извлечения информации, ответов на вопросы и дополнения кода. Она выпущена под лицензией Apache 2.0. Модель не прошла выравнивание по безопасности и может выдавать предвзятые, ошибочные или проблематичные ответы; для небольших моделей также отмечен риск воспроизведения фрагментов обучающих данных.

Jan-v3-4B-base-instruct-GGUF — квантованная версия компактной языковой модели Jan-v3-4B-base-instruct, разработанной Jan (janhq) и преобразованной в формат GGUF с помощью llama.cpp командой GGUF Quantizer Space. Модель предназначена для генерации текста, следования инструкциям, локального запуска, лёгкой помощи в программировании и последующей тонкой настройки под прикладные задачи. Модель относится к авторегрессионным causal language models и содержит около 4 млрд параметров, 36 слоёв и Grouped Query Attention с 32 головами для запросов и 8 для ключей и значений. Заявлена нативная длина контекста 262 144 токена. Модель получена посредством посттренировочной дистилляции от более крупной модели; README не указывает поддерживаемые языки и не заявляет мультимодальность, поэтому её следует рассматривать как текстовую. Основные преимущества — компактность, возможность локального развертывания через llama.cpp или Ollama, улучшенное следование инструкциям и пригодность в качестве основы для дообучения. Доступны варианты квантования от Q2_K до Q8_0: меньшие варианты требуют меньше ресурсов, но сильнее теряют в качестве, тогда как Q4_K_M и Q5_K_M обозначены как сбалансированный и высококачественный рекомендуемые варианты. Ограничения включают потери качества при агрессивном квантовании, а также отсутствие в README подробных данных о результатах бенчмарков, языках и ограничениях безопасности. Для исходной модели указана лицензия Apache 2.0.

Llama-3.1-Tulu-3-8B-GGUF — текстовая генеративная модель, созданная Allen Institute for AI (AI2) на базе Llama 3.1 Tulu 3 8B. Она предназначена для генерации текста и решения разнообразных задач, включая сценарии, где важны высокая производительность и работа с длинным контекстом. Модель доступна в формате GGUF для использования через llama.cpp и совместимых приложений, включая LM Studio. Модель содержит 8 млрд параметров, поддерживает контекст длиной до 128 тысяч токенов и, согласно карточке, ориентирована на английский язык. Исходная модель, а также данные, код и рецепты обучения заявлены как полностью открытые. GGUF-квантизация выполнена bartowski на основе llama.cpp b4132; конкретные варианты квантизации в README не указаны. Модель распространяется по лицензии llama3.1. README не содержит подробных результатов бенчмарков, сведений о дополнительных модальностях или точных ограничениях качества, поэтому её возможности следует оценивать с учётом возможных неточных или неподходящих ответов генеративной модели.

llm-jp-4-33b-thinking-gguf — большая языковая модель серии LLM-jp-4, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это Transformer-модель для генерации текста, диалоговых сценариев, решения инструкций и многошаговых задач на японском и английском языках. Модель представлена в формате GGUF и предназначена для локального или серверного запуска совместимых средств вывода. Модель имеет плотную архитектуру с 33,2 млрд параметров, 64 слоями, размером скрытого состояния 5120 и 40 головами внимания. Максимальная длина контекста составляет 65 536 токенов. Токенизатор основан на Unigram byte-fallback и совместим с шаблоном чата в формате OpenAI Harmony, однако для корректной работы следует использовать токенизатор из репозитория модели. Обучение включало предварительное и промежуточное обучение на 11,7 трлн токенов, а также дообучение SFT и DPO. Сильными сторонами модели являются большой контекст, поддержка японского и английского языков, а также ориентация thinking-варианта на рассуждения и выполнение сложных инструкций. README не содержит итоговых численных оценок качества, поэтому сравнивать производительность с другими моделями по этим данным нельзя. Для запуска через llama.cpp требуется специальный fork от LLM-jp с исправлениями обработки токенизатора; стандартная upstream-версия может некорректно обрабатывать чат. Модель распространяется по лицензии Apache-2.0.

unsloth/Meta-Llama-3.1-70B-bnb-4bit — это 4-битно квантованная версия базовой модели Meta Llama 3.1 70B, подготовленная Unsloth для эффективного использования и дообучения. Модель предназначена прежде всего для генерации и обработки текста, включая диалоговые сценарии, продолжение текста и адаптацию под специализированные наборы данных с помощью fine-tuning или DPO. Указан английский язык и поддержка библиотеки Transformers; мультимодальность не заявлена. Ключевая характеристика модели — размер 70 млрд параметров и представление в формате bnb-4bit, снижающее требования к памяти по сравнению с полной точностью. README не содержит сведений о длине контекста, точной архитектуре, вычислительной производительности именно этой версии или результатах оценки качества. К сильным сторонам относятся крупный размер базовой модели и возможность более доступного запуска и дообучения; ограничениями являются повышенные требования к вычислительным ресурсам по сравнению с меньшими моделями и возможные потери качества из-за 4-битной квантизации. Модель распространяется по лицензии llama3.1.

Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

Карточка модели rombodawg/Meta-Llama-3.1-8B-reuploaded на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

Это набор GGUF-квантизированных версий instruct-модели meta-llama/Llama-3.1-8B-Instruct, подготовленный командой featherless-ai-quants. Модель относится к задачам генерации текста и предназначена для диалоговых сценариев, следования инструкциям и локального или серверного запуска в совместимых средах, поддерживающих формат GGUF. В основе лежит языковая модель Llama 3.1 с 8 миллиардами параметров; README не уточняет архитектуру, языки и размер контекстного окна. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. Более компактные варианты снижают требования к памяти, тогда как версии с более высокой точностью потенциально лучше сохраняют исходное качество, но требуют больше ресурсов. Сильной стороной набора является выбор уровней квантизации для разных аппаратных ограничений и сценариев развертывания. Ограничения включают возможные потери качества из-за квантизации и необходимость использовать совместимое программное обеспечение для GGUF. Лицензия в README не указана; условия использования следует уточнять по лицензии исходной модели Llama 3.1 и условиям распространения данного набора.

MetaModel_moe_multilingualv1 — языковая модель с архитектурой Mixtral Mixture of Experts, созданная с помощью mergekit путём объединения нескольких моделей на базе Mistral 7B. В состав объединения входят OpenChat, CodeNinja, PiVoT, WizardMath, komt-mistral, OpenBuddy, open-aditi-hi и SauerkrautLM. Модель предназначена для генерации текста в диалогах и других сценариях, где нужны общие ответы, помощь с кодом и математикой, а также многоязычная генерация. Карточка указывает на языки английский, хинди, немецкий, французский, арабский и японский; размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0. README описывает объединение специализированных моделей, но не приводит оценок качества или результатов тестирования. Поэтому пригодность для конкретного языка и задачи следует проверять на собственных примерах; качество может различаться между направлениями, представленными в смеси.

Mistral-7B-v0.3 — плотная авторегрессионная языковая модель семейства Mistral, разработанная командой Mistral AI. Это версия Mistral-7B-v0.2 с расширенным словарём; в метаданных указаны 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. Модель предназначена для генерации текста и может служить базой для адаптации под конкретные задачи. Модель принимает текст и генерирует текст. Для запуска рекомендована библиотека mistral-inference; также приведены инструкции по использованию с Transformers. В карточке указано, что модель не имеет встроенных механизмов модерации, поэтому её ответы могут требовать отдельной проверки и фильтрации. Лицензия — Apache 2.0.

EasierAI/Mistral-NeMo-12B — набор GGUF-квантизованных версий Mistral-Nemo-Instruct-2407, опубликованный с указанием quantized_by: bartowski и предназначенный для запуска через llama.cpp и LM Studio. Модель относится к классу генеративных текстовых моделей и поддерживает формат диалоговых запросов с шаблоном <s>[INST]{prompt}[/INST]. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях, включая чат и другие задачи обработки текста. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Архитектура, точное число параметров и размер контекста в предоставленных данных не указаны; идентификатор 12B присутствует только в названии репозитория. Доступны варианты от F16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ3/IQ4, что позволяет выбирать между качеством генерации и требованиями к оперативной памяти. Квантизация выполнена с использованием imatrix и llama.cpp; некоторые варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. Более сильное сжатие уменьшает потребление памяти, но может снижать качество. Лицензия — Apache-2.0.

Mistral-Nemo-Instruct-2407-GGUF — это набор файлов модели в формате GGUF для инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций, включая локальные сценарии использования через совместимые приложения и библиотеки. В репозитории представлены варианты с 2-, 3-, 4-, 5-, 6- и 8-битной квантизацией. Формат GGUF разработан командой llama.cpp и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и другими инструментами. Ключевое преимущество — возможность запуска квантизированных версий локально с использованием CPU и GPU, однако конкретные требования к ресурсам и производительность зависят от выбранного варианта квантизации и программного окружения. README не содержит сведений об архитектуре, размере, поддерживаемых языках, длине контекста, модальностях, сильных сторонах базовой модели или лицензии. Поэтому эти характеристики нельзя надежно определить по представленным данным.

Mixtral-8x7B-Instruct-v0.1-AWQ — это 4-битная AWQ-квантизованная версия инструкционной языковой модели Mixtral 8X7B Instruct v0.1, разработанной Mistral AI и подготовленной для публикации TheBloke. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, работу в чат-ботах и локальный запуск через совместимые инструменты инференса. Для форматирования запросов используется шаблон [INST] {prompt} [/INST]. Модель основана на архитектуре Mixtral и имеет максимальную длину последовательности 8192 токена. Доступна в формате AWQ с 4-битными весами, группой 128 и размером файлов около 24,65 ГБ; файлы поставляются в формате sharded safetensors. Заявлена поддержка английского, французского, итальянского, немецкого и испанского языков. Квантизация снижает требования к памяти и обеспечивает быстрый инференс на совместимых NVIDIA GPU, однако README не содержит точных требований к видеопамяти, результатов бенчмарков или подробных характеристик базовой архитектуры. Для работы рекомендуются Linux или Windows с NVIDIA GPU и совместимые версии Transformers, vLLM, Text Generation Inference, AutoAWQ или text-generation-webui. На macOS данный формат не рекомендуется; для этой платформы предлагаются GGUF-версии. Модель распространяется по лицензии Apache-2.0.

NeuralKybalion-7B-slerp — объединённая модель, созданная с помощью LazyMergekit из NousResearch/Hermes-2-Pro-Mistral-7B и liminerity/M7-7b. Это плотная авторегрессионная языковая модель семейства Mistral с архитектурой MistralForCausalLM, примерно 7,1 млрд параметров и контекстом до 32 768 токенов. Веса опубликованы в формате safetensors. Модель предназначена для генерации текста и может использоваться в сценариях, подходящих для объединённых исходных моделей, включая диалоги, выполнение инструкций, вызов функций и генерацию JSON. В README указано слияние методом slerp с настройками для слоёв внимания и MLP. Информация о лицензии в предоставленных данных отсутствует.

Nex-N2.5-Pro-GGUF — квантизированная мультимодальная версия модели Nex-N2.5-Pro, разработанная nex-agi и преобразованная в формат GGUF командой qtum с использованием llama.cpp. Модель предназначена для генерации и понимания текста, а также анализа изображений в сценариях локального запуска через llama.cpp. Модель содержит 397 млрд параметров и использует гибридную архитектуру: 45 слоёв линейного внимания Gated DeltaNet и 15 слоёв полного внимания с GQA. Это MoE-модель: для каждого токена выбираются 10 из 512 экспертов и общий эксперт. Контекст — до 262 144 токенов, словарь — 248 320 токенов. Поддерживаются английский и китайский языки. Для обработки изображений используется отдельный 27-слойный vision encoder с входом 768 пикселей и патчами 16 пикселей; проектор поставляется в формате BF16. Модель доступна в вариантах IQ4_XS, Q2_K и IQ2_XS, занимающих примерно 200,1, 138,9 и 113,2 ГиБ соответственно. IQ4_XS обеспечивает качество, близкое к BF16-версии, Q2_K является более сбалансированным вариантом и рекомендуется для инференса только на CPU, а IQ2_XS предназначен для систем с жёсткими ограничениями по памяти, но с заметно большей потерей точности. Для работы с изображениями рекомендуется выделять не менее 1024 image tokens. Необходима сборка llama.cpp с поддержкой Qwen3.5-MoE; все 19 шардов выбранной квантизации нужно хранить в одной директории. Модель распространяется по лицензии Apache-2.0.

NousResearch_Hermes-4-70B-GGUF — это набор квантизированных версий языковой модели Hermes-4-70B, разработанной NousResearch. Квантизацию выполнил bartowski с использованием llama.cpp версии b6258 и метода imatrix. Модель предназначена для генерации текста и локального запуска через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В набор входят варианты в формате GGUF с разными уровнями квантизации: от Q8_0 размером около 75 ГБ до IQ2_S размером около 22 ГБ. Более крупные варианты обеспечивают более высокое качество, тогда как компактные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для большинства сценариев рекомендуются Q4_K_M, Q5_K_M, Q5_K_S и Q6_K; Q3 и Q2-варианты предназначены для систем с ограниченными ресурсами и имеют более низкое качество. README не содержит сведений об архитектуре, поддерживаемых языках, размере контекста, мультимодальности, точных задачах исходной модели или лицензии. Формат prompt также не указан, поэтому его следует уточнять на странице оригинальной модели NousResearch/Hermes-4-70B.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это квантизированная версия языковой модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B, разработанной NVIDIA и автоматически преобразованной в формат GGUF проектом ggml-org. В качестве исходной модели указана NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16. Модель предназначена для генерации текста и может использоваться в приложениях, поддерживающих формат GGUF и совместимых с llama.cpp или аналогичными инструментами. Из доступных данных известны размер 30B и обозначение A3B, однако подробности архитектуры, число активных параметров, длина контекста, поддерживаемые языки и дополнительные модальности не указаны. Формат GGUF удобен для локального запуска и интеграции с соответствующим программным обеспечением, но конкретные требования к памяти, производительность и качество генерации зависят от варианта квантизации и оборудования. Лицензия обозначена как other, без дополнительных условий в представленном README. Поэтому перед использованием необходимо ознакомиться с лицензией исходной модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 и условиями распространения данной сборки.

Open-Instruct Self-Instruct 13B — языковая модель Allen Institute for AI (AI2), созданная дообучением LLaMA с 12,9 млрд параметров на датасете Self-Instruct. Это causal language model для генерации текста по инструкциям; для лучшего качества вход следует оформлять в специальном формате модели с переводами строк. Модель предназначена для выполнения разнообразных текстовых инструкций, ответов на вопросы, решения задач и генерации кода. Она поддерживает английский язык, имеет контекстное окно 2048 токенов и распространяется в формате PyTorch. В README приведены результаты на тестах знаний, математики, рассуждений, вопросов и генерации кода. Это diff дообучения, а не самостоятельный полный набор весов: для использования требуется исходная модель LLaMA в формате Hugging Face. Применяются лицензия модели из LICENSE.txt и исходная лицензия LLaMA; конкретные условия следует сверять с этими файлами.

Phi-4-mini-instruct-GGUF — GGUF-квантизированная версия инструкционной модели Phi-4-mini-instruct, разработанной Microsoft. Квантизацию выполнил bartowski на базе llama.cpp версии b4792; модель распространяется в рамках программы Community Models для LM Studio. Модель предназначена для широкого круга коммерческих и исследовательских задач генерации текста, включая диалоговое взаимодействие, следование инструкциям и вызов функций. Она поддерживает контекст длиной до 128 тысяч токенов, заявлена как многоязычная и обладает улучшенными возможностями instruction following и function calling. README не содержит сведений о точном размере модели, конкретной архитектуре, перечне поддерживаемых языков и типе квантизации. Для использования в LM Studio на указанную дату требуется Beta runtime. Лицензия в предоставленных данных не указана; модель может генерировать неточный, вредный или нежелательный контент.

MaziyarPanahi/Qwen2.5-32B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантованную версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживающих исходную instruct-модель. Модель имеет размер 32B параметров и относится к текстовым моделям. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Сильными сторонами являются широкий выбор уровней квантования и совместимость с популярной экосистемой локального инференса. README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, результатах оценки или ограничениях исходной модели. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в документации Qwen2.5-32B-Instruct и данного репозитория.

mlx-community/Qwen3-30B-A3B-8bit — версия модели Qwen/Qwen3-30B-A3B, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и может использоваться через библиотеку mlx-lm. Из доступных данных известно, что модель относится к семейству Qwen, имеет обозначение 30B-A3B и 8-bit представление. Она поддерживает текстовый pipeline, токенизатор с chat template при его наличии и диалоговый формат сообщений. Конкретные сведения об архитектуре, языках, размере контекста, модальностях, производительности и ограничениях в README не указаны. Модель распространяется по лицензии Apache-2.0. Для использования требуется установить mlx-lm и загружать модель через API MLX.

Это GGUF-версия модели insraq/Qwen3.5-4B-EmperoAI-Qwen3.8-Distill-Heretic-Abliterated-MTP-GGUF, созданная на базе Qwen/Qwen3.5-4B. Модель разработана Empero и insraq: исходная Qwen3.8-4B представляет собой полноразмерную дистилляцию модели Qwen3.8 2.4T A95B в архитектуру Qwen3.5-4B, а данная версия дополнительно декензурирована с использованием Heretic v1.4.0 и объединена с MTP-drafter из unsloth/Qwen3.5-4B-MTP-GGUF. Это причинная языковая модель для генерации текста, рассуждений, следования инструкциям и нативного function calling; заявлена поддержка английского языка. Модель содержит около 4 млрд параметров и обучалась методом SFT на примерно 45 000 отфильтрованных трасс рассуждений учителя. Она поддерживает контекст до 262 144 токенов, а исходная архитектура относится к текстовому пути vision-language базы Qwen3.5. К сильным сторонам относятся компактный размер, пригодность для запуска на потребительском оборудовании, улучшенные по сравнению с базовой моделью результаты на MMLU и сниженное число отказов: 6 из 100 против 99 из 100 у исходной Qwen3.8-4B. При этом на GSM8K модель уступает базовой версии Qwen3.5-4B, а декензурирование может снижать встроенные защитные ограничения. Для работы требуется совместимый runtime с поддержкой архитектуры Qwen3.5; лицензия — Apache-2.0.

parmanu-lcs2/Qwen3-5B — текстовая генеративная модель на архитектуре Qwen3, полученная сокращением Qwen/Qwen3-8B методом SNIPER и последующим дообучением. После pruning в модели 5,406,974,208 параметров; метаданные каталога указывают 7,6 млрд. параметров и контекст до 40 960 токенов. Для восстановления использованы LoRA и 2 000 примеров SlimOrca в течение одной эпохи, после чего адаптеры объединены с весами модели. Модель предназначена для диалоговой генерации текста и выполнения инструкций. Её можно применять для ответов на вопросы, составления текстов и помощи с кодом — в пределах возможностей базовой Qwen3. README сообщает длину контекста 1 024 токена во время дообучения; это не следует путать с заявленным в метаданных родным контекстом модели. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Описание не содержит результатов оценки качества после pruning, поэтому фактическую сохранность способностей базовой модели следует проверять на целевых задачах.

Avesed/Qwen3.6-35B-A3B-INT8-W8A8 — квантизированная версия Qwen/Qwen3.6-35B-A3B, разработанная на базе модели Qwen. Это гибридная Mixture-of-Experts-модель для генерации текста, рассчитанная прежде всего на англоязычные и китайскоязычные сценарии. Архитектура включает 256 экспертов с выбором 8 экспертов на токен и примерно 3 млрд активных параметров, GatedDeltaNet для линейного внимания, vision tower и MTP head, однако назначение и характеристики визуальных возможностей в карточке подробно не описаны. Квантизация выполнена в формате INT8 W8A8: веса экспертных FFN преобразованы в симметричный INT8 по каналам, а активации квантизуются динамически для каждого токена. Чувствительные к качеству компоненты, включая self-attention, маршрутизатор, shared expert, GatedDeltaNet, lm_head, embeddings, vision tower и MTP head, сохранены в формате bfloat16. По заявлению автора, такая схема обеспечивает почти отсутствие потерь качества и предназначена для более эффективного развертывания модели. Модель поддерживается сервером vLLM с INT8 MoE-путём и рассчитана на видеокарты Ampere с архитектурами sm_80 и sm_86; в примере запуска используется tensor parallelism на двух устройствах. Ограничения включают отсутствие в README данных о размере контекста, точном общем числе параметров, поддерживаемых визуальных задачах и результатах тестирования именно этой версии. Лицензия — Apache-2.0.

Qwen3.6-35B-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.6-35B-A3B, подготовленная разработчиком 0xSero. Модель предназначена для генерации текста и запуска через llama.cpp, включая сценарии локального инференса на совместимом оборудовании. Доступны варианты с разными уровнями квантизации, включая динамическую смешанную квантизацию DYNAMIC.gguf. Модель имеет 35 млрд общих параметров, при этом на один токен активируется около 3 млрд параметров. В её основе используется гибридная архитектура Gated DeltaNet и Gated Attention с маршрутизацией через 256 экспертов; для DYNAMIC.gguf критичные компоненты внимания и маршрутизатор сохраняются в более высокой точности, а экспертные слои квантуются сильнее. Указан формат GGUF, однако размер контекста, число слоёв, скрытый размер, поддерживаемые языки и модальности в README не приведены. Сильной стороной являются варианты, ориентированные на баланс качества, размера и скорости, а также результаты тестирования на AMD Ryzen AI MAX+ 395 с Radeon 8060S, Vulkan и llama.cpp. Ограничение — заявленные показатели производительности относятся к конкретной конфигурации и могут отличаться на другом оборудовании; квантизация также может влиять на качество. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwen3.8-27B-OBLITERATED-OptiQ-4bit — мультимодальная vision-language модель семейства Qwen3.8, разработанная сообществом mlx-community на базе OBLITERATUS/Qwen3.8-27B-OBLITERATED. Квантованная версия предназначена для локального запуска на устройствах Apple Silicon с использованием MLX и инструментария mlx-optiq, без PyTorch и облачных сервисов. Модель содержит 27B параметров и поддерживает обработку текста и изображений, при этом в README явно указан английский язык. Она использует смешанную покомпонентную 4/8-битную квантизацию с размером группы 64: 237 компонентов представлены в 4-битном формате, 261 — в 8-битном. Среда хранения занимает около 21 ГБ. Сохранены vision tower в формате bf16 для работы с изображениями и MTP-голова для speculative decoding и multi-token prediction. Модель ориентирована на reasoning, long-context сценарии, function calling, tool use и агентские приложения. К сильным сторонам относятся мультимодальность, локальная работа на Apple Silicon, уменьшенный размер благодаря смешанной квантизации, поддержка ускоренной генерации через MTP и совместимый endpoint с интерфейсами OpenAI и Anthropic при использовании optiq serve. Ограничения включают необходимость установки mlx-optiq и запуска в экосистеме MLX, а также повышенные требования к памяти из-за размера модели. README не содержит точного максимального размера контекста и подробных результатов оценки качества. Модель распространяется по лицензии Apache-2.0.