II.7DevOps, облако и эксплуатация IT-систем

Azure99/Blossom-V7.1-9B-GGUF — открытая мультимодальная модель общего назначения семейства Blossom-V7.1, разработанная командой Azure99. Эта версия представлена в формате GGUF и основана на Qwen3.5-9B, поэтому ориентирована на локальный запуск на устройствах с ограниченными ресурсами, включая компактные GPU и мобильные устройства. Модель предназначена для повседневного диалога, работы с общими знаниями, математики и рассуждений, программирования, веб-разработки, визуализации данных и агентных сценариев с использованием инструментов. Она принимает текст и изображения, поддерживает два режима рассуждений — medium и max — и умеет рассуждать перед каждым вызовом инструмента. Заявлена поддержка английского и китайского языков. Максимальная длина контекста составляет 262 144 токена, при этом для наилучших результатов рекомендуется использовать до 131 072 токенов. К сильным сторонам относятся мультимодальное понимание изображений, расширенный контекст, поддержка инструментального использования и спекулятивного декодирования MTP в vLLM и llama.cpp. Ограничениями являются меньший размер и, вероятно, более низкие возможности по сравнению с вариантами Blossom на 27B и 35B-A3B, а также необходимость использовать встроенный специализированный chat template и сохранять сообщения с рассуждениями в многоходовых диалогах. Модель распространяется по лицензии Apache-2.0.

calme-2.3-qwen2-72b — языковая модель MaziyarPanahi, дообученная на базе Qwen2-72B-Instruct для генерации текста в формате диалога ChatML. Модель содержит 71,5 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 131 072 токенов. Для запуска предусмотрена библиотека Transformers, веса представлены в формате safetensors. Модель подходит для диалоговых помощников и чат-ботов, ответов на вопросы, суммаризации и создания текстов, генерации и анализа кода, а также решения задач и поддержки принятия решений. В README приведены результаты нескольких бенчмарков, в том числе GSM8K, ARC Challenge и TruthfulQA. Карточка указывает английский язык; других языков явно не заявлено. Лицензия обозначена как other, конкретные условия использования следует сверить с лицензией репозитория. Как и другие крупные языковые модели, она может выдавать неточные или предвзятые ответы; для важных решений рекомендуется проверка человеком.

CyberNeurova разработала эту мультимодальную разговорную модель на основе Qwen/Qwen3.8-Flash-Next. Она принимает текст и изображения и предназначена для диалога, рассуждений, программирования, ответов на вопросы по изображениям и работы с инструментами. Модель использует разреженную MoE-архитектуру: заявлены 125 млрд параметров всего и около 6 млрд активных на токен; контекст — 262 тыс. токенов с возможностью расширения до 1 млн с помощью YaRN. Поддерживается явный режим рассуждений, а стиль ответа можно задавать системным промптом. Разработчик позиционирует модель как нейтрального помощника с уменьшенным числом встроенных отказов; заявлено, что рассуждения, программирование и общие знания сохранены. Для запуска в README приведена конфигурация vLLM с выделенным образом для этой архитектуры. Модель распространяется по лицензии Apache-2.0. Уменьшение числа отказов означает, что поведение и безопасность ответов сильнее зависят от системного промпта и приложения; заявленные характеристики производительности и качества в предоставленных материалах независимо не подтверждены.

unsloth/DeepSeek-R1-Distill-Qwen-7B-unsloth-bnb-4bit — 4-битная динамически квантованная версия DeepSeek-R1-Distill-Qwen-7B. Базовую модель разработала команда DeepSeek, а квантованную сборку подготовила Unsloth. Модель основана на Qwen и относится к плотным большим языковым моделям примерно на 7 млрд параметров. Модель предназначена для текстовых задач, требующих рассуждений, включая решение математических задач, программирование и другие сценарии генерации и анализа текста. DeepSeek-R1 был обучен с применением крупномасштабного reinforcement learning, а серия Distill создана на основе дистилляции возможностей рассуждения DeepSeek-R1 в модели Llama и Qwen. В метаданных указана поддержка английского языка; сведения о размере контекста и дополнительных модальностях не приведены. Ключевая особенность этой версии — Dynamic 4-bit quantization от Unsloth: отдельные параметры выборочно не квантуются, что должно обеспечивать более высокую точность по сравнению со стандартной 4-битной квантизацией при меньших требованиях к памяти. Ограничениями являются возможные потери качества из-за квантования и отсутствие в предоставленных данных подробных результатов именно для этой сборки, характеристик контекстного окна и описания многоязычной поддержки. Лицензия — Apache-2.0.

dolphin-2.9.1-llama-3-70b-IMat-GGUF — GGUF-квантизированная версия текстовой модели dolphin-2.9.1-llama-3-70b, разработанной cognitivecomputations. Модель основана на Llama 3 с исходным типом данных BF16 и содержит около 70 млрд параметров. Квантизация выполнена с использованием llama.cpp версии b3003, а разработчиком сборки указан legraphista. Для калибровки применён IMatrix-набор данных. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, программирование, математические задачи, function calling и агентские задачи. При обучении исходной модели использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math Word Problems, Locutusque Function Calling ChatML и Agent-FLAN. Поддерживаются варианты квантизации от Q2_K и IQ3 до Q8_0, а также FP16 и BF16; доступны как цельные, так и разделённые файлы. Ключевое преимущество сборки — возможность запускать крупную модель в формате GGUF через совместимое программное обеспечение, выбирая компромисс между размером файла и сохранением качества. IMatrix применяется в ряде вариантов с более низкой разрядностью и может улучшать качество по сравнению с обычной квантизацией. Ограничения включают значительные требования к дисковому пространству и вычислительным ресурсам, особенно для вариантов высокого качества; сведения о конкретном контекстном окне, языках и мультимодальности в README не указаны. Лицензия указана как llama3.

Dolphin-2.9.2-Phi-3-Medium-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Dolphin 2.9.2 на базе unsloth/Phi-3-mini-4k-instruct. Оригинальную модель разработала команда cognitivecomputations, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, следования инструкциям, программирования, математических задач и агентских сценариев. В README указана поддержка английского языка и текстовая модальность. Доступны варианты от Q8_0 до Q2_K и IQ-квантизаций размером примерно от 4,19 до 14,83 ГБ. Для запуска используется шаблон чата с ролями system, user и assistant. Точное число параметров и размер контекста в README явно не указаны, однако базовая модель идентифицируется как Phi-3-mini-4k-instruct. Более высокие квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q4–Q6 и Q5_K_M указаны как рекомендуемые, тогда как низкобитные варианты экономят память ценой снижения качества. Модель распространяется по лицензии MIT.

Dolphin 2.9.4 Llama 3.1 8B GGUF — это квантизированная версия текстовой генеративной модели cognitivecomputations/dolphin-2.9.4-llama3.1-8b, подготовленная пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель основана на Llama 3.1 с 8 млрд параметров и предназначена для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель ориентирована на диалоговые и инструкционные сценарии, генерацию и анализ текста, программирование, математические задачи, работу с агентными данными и системными диалогами. При дообучении использовались наборы Dolphin-2.9, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, FineTome, agent_data, math-gpt-4o и SystemChat. Поддерживается текстовая модальность; сведения о точном контекстном окне и перечне языков в карточке не указаны. Доступно множество вариантов квантизации от F32 до Q2_K и IQ-серий, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Варианты Q5 и Q6 заявлены как высококачественные, Q4 — как компромиссные, а Q2–Q3 требуют меньше памяти, но заметно уступают по качеству. Качество и производительность зависят от выбранного варианта квантизации и аппаратной конфигурации. Лицензия указана как llama3.1.

Gemma 2 27B Instruct — большая языковая модель Google из семейства Gemma, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантование подготовлено bartowski на основе оригинальной модели google/gemma-2-27b-it. Модель предназначена для диалогового взаимодействия и универсальной генерации текста, включая работу с веб-текстами, программным кодом и математическими задачами. Модель содержит 27 миллиардов параметров и занимает промежуточное положение между моделями классов 8B и 70B, поэтому рассчитана на системы с умеренным объёмом видеопамяти. Она обучена на 13 триллионах токенов; обучающие данные включали преимущественно англоязычные веб-документы, код и математические материалы. Большой словарь способствует многоязычным возможностям и работе с кодом, однако точный перечень поддерживаемых языков и размер контекстного окна в README не указаны. Модель работает по шаблону Google Gemma Instruct и не поддерживает системный промпт. Для запуска рекомендуется LM Studio версии 0.2.27 или новее с пресетом Google Gemma Instruct. Модель является текстовой и не поддерживает мультимодальные входы или выходы. Использование регулируется лицензией Gemma; для доступа на Hugging Face необходимо принять условия лицензии Google. README также предупреждает, что модель может генерировать неточный, вредный или неприемлемый контент.

GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

Granite-4.2-3B — компактная языковая модель IBM Granite Team на базе плотного декодирующего трансформера GraniteForCausalLM с 3,4 млрд параметров. Она дообучена на Granite-4.1-3B-Base и рассчитана на диалог, рассуждения и следование инструкциям; доступны режимы полного, облегчённого и отключённого рассуждения. Модель предназначена для решения математических и логических задач, программирования, многошагового анализа и вызова инструментов в агентных сценариях. Она поддерживает контекст до 131 072 токенов по метаданным; в README заявлено окно 512 тысяч токенов. Поддерживаемые языки включают английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский; качество может быть ниже английского. Модель использует архитектуру decoder-only dense Transformer, формат весов safetensors и библиотеку Transformers. Она выпущена по лицензии Apache 2.0, допускающей коммерческое и академическое использование. Ответы могут быть неточными, предвзятыми или небезопасными; промежуточные рассуждения не всегда отражают итоговый ответ.

Карточка модели RedHatAI/granite-4.2-3b на Hugging Face совпадает с карточкой ibm-granite/granite-4.2-3b, поэтому описание составлено по ней. Granite-4.2-3B — компактная языковая модель IBM Granite Team на базе плотного декодирующего трансформера GraniteForCausalLM с 3,4 млрд параметров. Она дообучена на Granite-4.1-3B-Base и рассчитана на диалог, рассуждения и следование инструкциям; доступны режимы полного, облегчённого и отключённого рассуждения. Модель предназначена для решения математических и логических задач, программирования, многошагового анализа и вызова инструментов в агентных сценариях. Она поддерживает контекст до 131 072 токенов по метаданным; в README заявлено окно 512 тысяч токенов. Поддерживаемые языки включают английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский; качество может быть ниже английского. Модель использует архитектуру decoder-only dense Transformer, формат весов safetensors и библиотеку Transformers. Она выпущена по лицензии Apache 2.0, допускающей коммерческое и академическое использование. Ответы могут быть неточными, предвзятыми или небезопасными; промежуточные рассуждения не всегда отражают итоговый ответ.

HauhauCS-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — модифицированная версия Qwen3.6-35B-A3B, разработанная HauhauCS. Модель предназначена для диалогов, генерации текста, рассуждений, программирования и мультимодальных сценариев с обработкой текста, изображений и видео. Ключевая особенность Aggressive-варианта — удаление отказов при сохранении заявленных возможностей исходной модели; по данным README, модель не отказывает в ответах, хотя иногда может добавлять короткие дисклеймеры. Модель использует гибридную MoE-архитектуру: 35 млрд общих параметров, около 3 млрд активных параметров на один проход, 256 экспертов и 8 маршрутизируемых экспертов на токен. Архитектура включает линейное и полное softmax-внимание в соотношении 3:1, 40 слоёв и нативный контекст до 262 тысяч токенов. Заявлена поддержка английского, китайского и других многоязычных сценариев. Доступны GGUF-квантизации Q2–Q8, включая пользовательские K_P-варианты, оптимизированные с помощью importance matrix; размер файлов составляет примерно от 11 до 44 ГБ. Для работы с изображениями требуется отдельный файл mmproj. Сильными сторонами являются большой контекст, низкое число активных параметров для MoE-модели, мультимодальность, широкий выбор квантизаций и отсутствие встроенных отказов. Ограничения включают высокие требования к памяти, возможное появление дисклеймеров, зависимость качества от выбранной квантизации и необходимость корректной настройки runtime; для llama.cpp рекомендуется использовать флаг --jinja и не менее 128 тысяч токенов контекста для сохранения возможностей рассуждения. Модель распространяется по лицензии Apache-2.0.

Карточка модели Rampage1219hf/Hermes-4.3-36B на Hugging Face совпадает с карточкой NousResearch/Hermes-4.3-36B, поэтому описание составлено по ней. Hermes 4.3 36B — языковая модель для диалогов и следования инструкциям, разработанная Nous Research на основе ByteDance-Seed/Seed-OSS-36B-Base. Это плотная архитектура Seed OSS с 31,7 млрд параметров и контекстом до 524 288 токенов; модель распространяется в формате safetensors и рассчитана прежде всего на английский язык. Модель предназначена для рассуждений и ответов общего назначения, включая задачи по математике, программированию, STEM, логике и творческому письму. Она поддерживает гибридный режим рассуждений, вызов инструментов, а также формирование структурированных ответов и JSON по заданной схеме. Для диалогов используется шаблон чата Hermes на основе формата Llama 3. По описанию разработчика, при дообучении использовался корпус примерно из 5 млн примеров и 60 млрд токенов, с акцентом на проверяемые цепочки рассуждений и точное соблюдение формата. Модель выпущена под лицензией Apache-2.0. Для запуска на сервере с несколькими GPU разработчик рекомендует движки инференса вроде SGLang или vLLM; качество и скорость зависят от настроек и аппаратного обеспечения.

Hermes-4.3-36B-GGUF — языковая модель для генерации текста, разработанная Nous Research на основе ByteDance-Seed/Seed-OSS-36B-Base. Она предназначена для диалогов, рассуждений, решения математических и логических задач, программирования, STEM-сценариев, творческого письма, ролевого общения, вызова функций и работы со структурированными ответами. Модель имеет размер 36 млрд параметров и поддерживает гибридный режим с рассуждением: при необходимости она формирует сегменты <think>...</think>, а также может работать без явного рассуждения. В обучении использовался посттренировочный корпус примерно из 5 млн примеров и 60 млрд токенов. Hermes 4.3 ориентирована на соблюдение схем JSON, исправление некорректных структурированных объектов, управляемость и широкий спектр форматов вывода. В README заявлен английский язык; размер контекстного окна и полный перечень поддерживаемых языков не указаны. К сильным сторонам относятся улучшенные результаты в математике, коде, логике, STEM и следовании инструкциям, а также поддержка function calling, tool use и structured outputs. Ограничения модели включают отсутствие в представленном README сведений о конкретной GGUF-квантизации, требованиях к оборудованию и размере контекста. Результаты на SimpleQA заметно ниже других приведённых показателей, поэтому фактические ответы следует проверять. Модель распространяется по лицензии Apache-2.0.

JoyAI-LLM Flash-Base — базовая языковая модель семейства JoyAI-LLM Flash, представленная в карточке модели как разработанная для высокопроизводительных приложений с низкой задержкой и стоимостью запросов. Это плотная архитектура DeepseekV3ForCausalLM по метаданным; README описывает модель как смесь экспертов (MoE) с 48 млрд параметров всего и 3 млрд активируемых параметров, тогда как метаданные указывают общий размер 2,7 млрд параметров. Модель предназначена для генерации текста, рассуждений, работы со знаниями и кодом, а также сценариев с использованием инструментов и автономным решением задач. README сообщает об обучении с оптимизатором Muon и о варианте с MTP, который, по заявлению авторов, повышает пропускную способность в 1,3–1,7 раза относительно версии без MTP. Поддерживаемые языки по тегам карточки — китайский и английский; контекстное окно составляет 131 072 токена. В репозитории указаны веса safetensors. Лицензия в предоставленных данных не указана.

QuantFactory/Llama-3-8B-Instruct-262k-GGUF — это квантизированная версия GradientAI модели Llama-3-8B-Instruct-262k в формате GGUF, созданная с использованием llama.cpp. Модель разработана Gradient на основе Meta-Llama-3-8B-Instruct при спонсорской поддержке вычислительных ресурсов Crusoe Energy. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также работы с большими текстовыми документами и контекстами. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention, содержит около 8 миллиардов параметров и работает только с текстом на входе и выходе. Контекстное окно расширено с исходных 8K до более чем 160K токенов; обучение проводилось с последовательностями до 262144 токенов. Для расширения контекста применялись NTK-aware interpolation, оптимизация параметра RoPE theta и прогрессивное обучение. Сильной стороной модели является поддержка очень длинного контекста при относительно небольшом размере, что подходит для анализа крупных документов и продолжительных диалогов. Ограничения включают ориентацию преимущественно на английский язык, текстовую модальность и возможные потери качества, связанные с квантизацией. Модель основана на Llama 3, предназначенной для коммерческого и исследовательского использования, и распространяется по пользовательской коммерческой лицензии Llama 3.

bartowski/Meta-Llama-3-70B-Instruct-GGUF — это GGUF-версия 70-миллиардной инструкционно-ориентированной языковой модели Meta Llama 3, разработанной Meta и подготовленной пользователем bartowski для запуска в совместимых средах инференса. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые сценарии и другие приложения обработки естественного языка. В доступных данных указано, что модель поддерживает английский язык и относится к классу text-generation. Она основана на архитектуре Llama 3 и поставляется в формате GGUF, однако сведения о конкретном варианте квантования, размере контекста, точной архитектуре, мультимодальности и дополнительных языках отсутствуют. Размер 70B обеспечивает значительный потенциал для сложных языковых задач, но обычно требует существенных вычислительных ресурсов; характеристики производительности зависят от выбранной сборки и среды запуска. Модель распространяется по Meta Llama 3 Community License. При распространении материалов или продуктов на их основе требуется соблюдать условия лицензии, включая указание «Built with Meta Llama 3», сохранение уведомления об авторских правах и соблюдение Acceptable Use Policy. Лицензия также содержит ограничения на использование результатов для улучшения других больших языковых моделей и дополнительные коммерческие условия для организаций с более чем 700 миллионами активных пользователей в месяц.

ianshank/phi-35-moe-instruct — инструктивная языковая модель семейства Phi-3.5-MoE на архитектуре mixture-of-experts, опубликованная под лицензией MIT. Она предназначена для диалоговых и генеративных приложений, включая сценарии с ограничениями по вычислительным ресурсам или задержке, а также задачи рассуждения, программирования, математики и логики. В README указано, что модель прошла supervised fine-tuning и этапы оптимизации предпочтений PPO и DPO; метаданные каталога указывают 4 млрд параметров, а карточка заявляет 6,6 млрд активных параметров. Эти значения приведены в источниках по-разному и могут отражать разные способы подсчёта. Модель поддерживает многоязычные запросы и рассчитана на чатовый формат. В README заявлена длина контекста 128 тыс. токенов, тогда как метаданные указывают нативный контекст 4096 токенов; фактическую длину для этой копии следует проверять по её конфигурации. Репозиторий использует safetensors и библиотеку Transformers. Модель подходит для генерации текста и кода, но качество и безопасность для конкретного применения требуют отдельной оценки; README отмечает уязвимость к длинным многошаговым jailbreak-запросам и необходимость осторожности в высокорисковых сценариях.

Phi-3-medium-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Phi-3-medium-128k-instruct, разработанной Microsoft и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, работу с длинными документами и программным кодом. В README указана поддержка multilingual, однако конкретный перечень языков не приведён. Архитектура и точное число параметров не указаны; модель относится к типу phi-msft и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 5,14 до 27,9 ГБ. Варианты с более сильной квантизацией требуют меньше памяти, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые для баланса между размером и качеством. Модель рассчитана на запуск через совместимые инструменты, включая LlamaEdge, с использованием шаблона phi-3-chat. Лицензия — MIT; дополнительные ограничения или сведения о мультимодальности в README не указаны.

Qwen/Qwen1.5-32B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2: плотная авторегрессионная языковая модель на архитектуре Transformer, предназначенная для диалогов и генерации текста. В этой версии 31,7 млрд параметров; контекст — до 32 768 токенов. Модель обучена на больших массивах данных и адаптирована для общения. Семейство поддерживает несколько естественных языков, а токенизатор рассчитан на работу с разными языками и кодом; в карточке модели отдельно отмечен английский. Для варианта 32B применяются Group Query Attention, а также SwiGLU и смещение в проекциях QKV. Модель работает через Transformers и формат safetensors; для загрузки README рекомендует transformers версии 4.37.0 или новее. Модель подходит для чат-ботов, ответов на вопросы и свободной генерации текста. При переключении между языками или нестабильном качестве генерации README советует использовать параметры из generation_config.json. Лицензия в метаданных указана как other, поэтому конкретные условия использования следует сверить с файлами репозитория.

NVFP4/Qwen3-30B-A3B-Thinking-2507-FP4 — квантизированная FP4-версия модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen. Модель относится к классу авторегрессионных языковых моделей и предназначена для генерации текста с акцентом на углублённое рассуждение. Модель подходит для сложных задач логического рассуждения, математики, науки, программирования, следования инструкциям, использования инструментов, генерации текста и агентских сценариев. Заявлена улучшенная работа с длинным контекстом, включая контекст длиной до 262 144 токенов, а также поддержка многоязычных задач. Модель работает только в режиме рассуждения; увеличенная длина рассуждений особенно рекомендуется для сложных запросов. Архитектура — causal language model на основе MoE: 30,5 млрд параметров всего, из которых активируется около 3,3 млрд; 48 слоёв, 128 экспертов и 8 активируемых экспертов, используется GQA с 32 головами Q и 4 головами KV. Квантизация FP4 может снизить требования к памяти и упростить развёртывание, однако точные требования к аппаратуре и влияние квантизации на качество в README не указаны. Ограничением является отсутствие режима без рассуждений и потенциально высокая длина генерируемого вывода. Модель распространяется по лицензии Apache 2.0.

AtomicChat/Qwen3.5-9B-GGUF — квантизированная версия базовой модели Qwen/Qwen3.5-9B, подготовленная Atomic Chat. Модель распространяется в формате GGUF для локального и полностью офлайн-использования, в том числе через llama.cpp, Ollama, LM Studio и Jan. Репозиторий содержит текстовые варианты модели без vision projector, поэтому мультимодальные возможности базовой версии здесь недоступны. Модель имеет 9,7 млрд параметров, 32 слоя и заявленный контекст до 262 144 токенов. Архитектура описана как плотный декодер с 16 attention heads и 4 KV heads; базовая модель поддерживает текст и изображения, а опубликованные файлы предназначены только для генерации текста. Указаны варианты квантизации Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0 с размером примерно от 5,6 до 9,5 ГБ. Квантизация выполнена с importance matrix, что помогает сохранить качество при уменьшении требований к памяти; Q4_K_M позиционируется как оптимальный баланс размера, скорости и качества, тогда как Q8_0 обеспечивает почти исходную точность. Модель подходит для диалогов, генерации текста, программирования, рассуждений и агентских сценариев при локальном запуске. Ограничения включают отсутствие поддержки изображений в данном репозитории, зависимость качества и скорости от выбранного уровня квантизации и оборудования, а также необходимость применять chat template Qwen3.5. Исходная модель выпущена под лицензией Apache 2.0; квантизацию выполнила Atomic Chat.

hampsonw/Qwen3.6-27B-AWQ-BF16-INT4-mtp-bf16 — вариант модели Qwen3.6-27B, созданный на основе чекпойнта cyankiwi/Qwen3.6-27B-AWQ-BF16-INT4 версии 26.05.01. Модель представляет собой каузальную языковую модель с энкодером изображений, разработанную в экосистеме Qwen. Она ориентирована на генерацию текста, программирование, агентные сценарии, работу с репозиториями и задачами, требующими визуально-текстового понимания. Модель содержит около 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с заявленной возможностью расширения до 1 010 000 токенов. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Архитектура включает Gated DeltaNet, Gated Attention, FFN и механизм multi-token prediction (MTP); размер модели указан как 26,37 ГБ. Основная часть весов сжата до INT4 в формате AWQ/compressed-tensors, что снижает требования к памяти. Тензоры MTP заменены на необжатые BF16 из базовой модели и предназначены для speculative decoding в vLLM. Это может повысить эффективность генерации при использовании поддерживаемой конфигурации vLLM, однако чекпойнт требует совместимого программного стека и настройки MTP. README не приводит количественных результатов бенчмарков и подробностей об ограничениях качества мультимодального ввода. Лицензия — Apache-2.0.

Brian6145/Qwen3.6-27B-Claude-Opus-DeepSeek-Distilled-Imatrix-MTP-GGUF — квантизированная модель в формате GGUF на базе Qwen/Qwen3.6-27B, разработанная Brian6145. Модель предназначена для локального запуска, агентских сценариев, использования инструментов, ReAct-подхода и выполнения длинных последовательностей задач. Заявлены улучшения в структурированном рассуждении, оркестрации инструментов, следовании инструкциям, математике и логическом выводе за счёт дистилляции из Claude Opus, DeepSeek и математических и логических моделей. Модель поддерживает английский и китайский языки и ориентирована на генерацию текста. Указаны архитектурная база Qwen3.6-27B, квантизация q4_k_m, поддержка speculative decoding через MTP и работы с длинным контекстом, однако точный размер контекстного окна не приведён. В README заявлены результаты BenchLocal 6-pack — 86,5, GPQA-Diamond-198 — 83,84% и MMLU-500 — 91,80%, а также высокая эффективность в задачах вызова инструментов, поиска ошибок и структурированного вывода. Ограничения включают некоторое снижение результата в DataExtract-15 по сравнению с базовой моделью и чувствительность агентного поведения к параметрам генерации. Рекомендуются temperature 0.6 и top_p 0.95; для заявленной производительности также указан режим q4_k_m с MTP=3. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-NEO-CODE-Di-IMatrix-MAX-GGUF — это набор GGUF-квантов модели Qwen3.6-27B, разработанной командой Qwen и дополнительно оптимизированной DavidAU. Кванты созданы с применением объединённых NEO и NEO-CODE imatrix-датасетов, а также дополнительных настроек тензоров, подобранных по результатам бенчмарков относительно полной BF16-версии. Модель предназначена для широкого круга задач: программирования, математики, решения задач, диалогов с длинным контекстом, многошагового взаимодействия, творческого письма, генерации сюжетов и сцен, сторителлинга и ролевых сценариев. Заявлена поддержка английского и китайского языков. Максимальный контекст составляет 256K токенов. Модель поддерживает работу с текстом и изображениями; для обработки изображений требуется совместимый файл mmproj, размещённый вместе с GGUF-файлом. Доступны варианты квантования от IQ2_M до Q8_0 с разным соотношением размера и точности. По данным README, Q8_0 сохраняет 98,38% показателя Same Top P относительно полной точности, IQ4_XS — 93,98%, а IQ2_M — 82,66%. Сильными сторонами заявлены качество при длинном контексте, кодировании, математике и стандартном решении задач, однако качество и требования к памяти зависят от выбранного кванта. Модель распространяется по лицензии Apache-2.0.

Это квантованная версия NVFP4 модели Qwen3.6-35B-A3B, подготовленная WhiskyAKM в формате GGUF для llama.cpp и других совместимых движков. В основе лежит WhiskyAKM/Qwen3.6-35B-A3B-GGUF, происходящая от Qwen/Qwen3.6-35B-A3B. Исходная мультимодальная модель разработана командой Qwen и использует архитектуру Mixture-of-Experts с гибридным линейным и полным вниманием: всего 35 млрд параметров, из которых на токен активируются 3 млрд. Модель принимает текст, изображения и видео и генерирует текст. Она предназначена для диалога, рассуждений, агентного программирования, анализа изображений и видео, а также вызова инструментов; контекст достигает 262 144 токенов и может расширяться примерно до 1 млн с YaRN. Для мультимодального ввода требуется файл проектора mmproj.gguf. Модель поддерживает более 140 языков. NVFP4 снижает размер весов для инференса, но требует совместимой сборки llama.cpp с поддержкой этого формата. Лицензия репозитория — Apache-2.0.

Qwen3.8-27B-GGUF — GGUF-квантизированная версия модели Qwen3.8-27B, подготовленная компанией ByteShape с использованием ShapeLearn. Этот метод подбирает тип данных отдельно для каждого тензора, чтобы сохранить высокое качество при малой разрядности. Модель предназначена для локального запуска на GPU через llama.cpp и поддерживает работу с изображениями благодаря встроенному vision projector. Модель ориентирована на математические задачи, программирование, общие знания, выполнение инструкций, многошаговые диалоги, мультиязычные сценарии, использование инструментов и агентные задачи. В выпуск входят пять вариантов размером от 8,8 до 13,1 ГБ и с разрядностью от 2,56 до 3,84 бит на вес, что позволяет выбирать баланс между требованиями к видеопамяти, скоростью и качеством. В GGUF также встроена MTP-голова для speculative decoding; для её использования нужен llama.cpp с соответствующими параметрами. Поддержка DFlash2 требует версии llama.cpp b10658 или новее. Сильными сторонами являются оптимизация под GPU, несколько вариантов квантизации и оценка на наборах тестов для математики, программирования, знаний, следования инструкциям и агентного использования. Ограничения включают потенциальное снижение качества по сравнению с базовой BF16-моделью из-за квантизации, необходимость подходящей видеопамяти и зависимость расширенных функций от версии llama.cpp. Модель распространяется по лицензии Apache-2.0.

Это квантованная версия Qwen3.8-27B, подготовленная FreedomAISVR в формате GGUF MXFP4 для запуска через llama.cpp на видеокартах NVIDIA Blackwell. В основе — плотная мультимодальная архитектура Qwen3_5ForConditionalGeneration с языковой частью на 27 млрд параметров и отдельным визуальным проектором; веса модели используют MXFP4, проектор — F16. Карточка указывает лицензию Apache-2.0. Модель предназначена для диалогов с текстом и изображениями, анализа видео, программирования, профессиональных и исследовательских задач, а также многошагового планирования и работы с агентскими сценариями. Режим рассуждений включён по умолчанию; его можно отключать и настраивать глубину. В README приведены примеры запуска с контекстом 32K и тесты производительности на RTX 5060 Ti 16GB, но это рекомендованные настройки и результаты для конкретной конфигурации, а не гарантии для другого оборудования. Квантизация уменьшает размер текстовых весов примерно до 14,2 ГБ; для обработки изображений также нужен визуальный проектор около 928 МБ. README рекомендует видеокарты RTX 50-й серии с 16 ГБ видеопамяти и не менее 16 ГБ оперативной памяти. Указанный в README контекст 32K — настройка примера запуска, а не подтверждённый максимальный контекст модели. Качество и скорость могут зависеть от оборудования и сборки llama.cpp.

Qwen3.8-27B-NVFP4 — это квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen. Квантизацию выполнила A2Genesis с использованием NVIDIA TensorRT Model Optimizer 0.45 и рецепта для семейства qwen3_5. Модель предназначена для генерации текста, рассуждений, программирования, работы с инструментами и сценариев image-text-to-text, включая обработку изображений при наличии соответствующей инфраструктуры. Модель использует смешанную точность: проекции MLP и lm_head представлены в NVFP4 с форматом W4A16, проекции внимания — в FP8, KV-кэш — в FP8, а vision tower, MTP head и отдельные свёрточные и gating-слои сохранены в BF16. Размер контрольной точки составляет около 21 ГБ вместо примерно 55 ГБ у BF16-версии. Доступен контекст до 262144 токенов при обслуживании через vLLM, а сохранение MTP-тензоров позволяет применять speculative decoding. Языки в README не указаны. Сильные стороны модели — существенно меньший размер, поддержка высокопроизводительного инференса на GPU Blackwell, совместимость с vLLM, инструментальными вызовами и сохранение мультимодальных компонентов. Ограничения связаны с потерями и возможными особенностями качества, характерными для посттренировочной квантизации; на видеокартах более ранних архитектур NVFP4 загружается через поддержку ModelOpt, но преимущества производительности могут быть ниже. Это общественная квантизация от A2Genesis, не связанная с официальной поддержкой Qwen или NVIDIA. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели Qwen3.8-27B.

malvavisc0/Qwen3.8-9B-gptq-int4 — квантизированная версия модели empero-ai/Qwen3.8-9B, разработанная в формате GPTQ Int4. Модель относится к семейству Qwen и представляет собой плотную модель примерно на 9 млрд параметров, дистиллированную из Qwen3.8 2.4T A95B. Квантизация выполнена для текстовых модулей; заявлена гибридная архитектура с 24 слоями GatedDeltaNet и 8 слоями полнотекстового внимания. Нативный контекст составляет до 262 тысяч токенов. В репозитории также присутствует необработанная vision tower, однако подробности о поддерживаемых визуальных сценариях не приведены. Модель предназначена для генерации текста, рассуждений, решения математических задач, программирования и агентских сценариев с вызовом инструментов. Она поддерживает reasoning с блоками <think>, управление интенсивностью рассуждений через chat template и XML-формат вызова инструментов. Предусмотрена интеграция с vLLM и Transformers, а также совместимость с OpenAI API через локальный сервер vLLM. Указан английский язык; сведения о полноценной поддержке других языков отсутствуют. Ключевое преимущество — снижение потребления памяти: размер весов составляет около 8,5 ГБ против примерно 18 ГБ у версии BF16. Для работы рекомендуется не менее 12 ГБ общей памяти, комфортный режим начинается примерно с 16 ГБ, а видеокарты с 24 ГБ позволяют использовать длинный контекст. На CPU модель запускается, но медленно. К ограничениям относятся потери, связанные с Int4-квантизацией, необходимость правильно настраивать длину контекста и размер пакета, а также потенциально длинные рассуждения в блоках <think>, которые может потребоваться удалять перед показом пользователю. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной модели.