II.7DevOps, облако и эксплуатация IT-систем

Baichuan2-13B-Chat — 百川智能推出的对话式大语言模型，属于 Baichuan 家族的稠密 причинно-языковой архитектуры BaichuanForCausalLM; содержит 13,3 млрд параметров. По карточке, версия v2 улучшает математические и логические рассуждения, а также следование сложным инструкциям. Модель предназначена для диалогов, генерации текста и решения задач на китайском и английском языках; её оценивали на общих, юридических, медицинских, математических, программных и переводческих наборах данных. Для запуска используется формат PyTorch, а README указывает требование PyTorch 2.0 из-за применения scaled_dot_product_attention. Модель обучена на корпусе из 2,6 трлн токенов. Лицензия в метаданных обозначена как other; README описывает Apache 2.0 вместе с отдельным соглашением сообщества. Для коммерческого использования требуется получить официальное разрешение Baichuan и соблюдать условия соглашения, включая ограничения по DAU и типу организации.

QuantFactory/Fireball-3.1-8B-ORPO-GGUF — квантизированная версия EpistemeAI/Fireball-3.1-8B-ORPO, созданная с помощью llama.cpp. В основе лежит Meta Llama 3.1 8B от Meta, дообученная методом ORPO, который объединяет supervised fine-tuning и выравнивание по предпочтениям в едином процессе. Разработчик и автор исходной версии — EpistemeAI; квантизацию также выполнила EpistemeAI. Модель предназначена для генерации текста, диалоговых ассистентов и других задач обработки естественного языка, включая работу с кодом. Это текстовая autoregressive Transformer-модель примерно на 8 млрд параметров с поддержкой Grouped-Query Attention. Заявлены мультиязычные текстовые входы и выходы, включая английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Максимальная длина контекста составляет 128 тысяч токенов, дата отсечения знаний — декабрь 2023 года. Квантизированный формат GGUF ориентирован на запуск через llama.cpp и может снизить требования к памяти и вычислительным ресурсам по сравнению с полноразмерными весами. Ограничения включают статичность знаний, возможные ошибки и ограничения качества после дообучения и квантизации, а также отсутствие поддержки изображений и других немультимодальных входов. В README указана лицензия Llama 3.1 Community License; при этом в разделе сведений о загруженной модели также упомянута Apache-2.0, поэтому условия распространения следует уточнить по актуальным файлам лицензии репозитория.

MoonRide/gemma-4-31B-it-heretic-ara-GGUF — GGUF-версия инструкционной модели MoonRide/gemma-4-31B-it-heretic-ara, созданной на базе Google Gemma 4 31B IT. Модель модифицирована с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA) с сохранением row-norm; заявленная цель модификации — уменьшить склонность исходной модели к отказам. Семейство Gemma разработано Google DeepMind. Модель относится к плотной архитектуре с примерно 30,7 млрд параметров, 60 слоями, размером скользящего окна 1024 токена и контекстом до 256K токенов. Она принимает текст и изображения и генерирует текст; для семейства Gemma 4 заявлена поддержка более 140 языков. Архитектура использует гибридное внимание, объединяющее локальное скользящее и глобальное внимание, а также оптимизации для длинного контекста. Файлы представлены в различных вариантах GGUF-квантизации; рекомендуемые README варианты занимают около 12,1 и 12,6 ГБ. Основная сильная сторона модели — сочетание крупного контекста, мультимодального понимания, возможностей генерации текста, рассуждений и программирования с существенно меньшим числом отказов по сравнению с исходной Gemma 4 31B IT: в приведённом сравнении отказов было 11 из 100 против 99 из 100. При этом декенсоринг может изменить поведение и защитные свойства исходной модели; указанная оценка основана на ограниченном внутреннем тесте, а KL divergence относительно оригинала составляет 0,0508. Для загрузки README рекомендует llama.cpp версии b8751 или новее. Модель распространяется по лицензии Apache 2.0. Перед использованием необходимо учитывать, что снижение числа отказов не означает гарантии корректности, безопасности или точности ответов, а качество и потребление памяти зависят от выбранной GGUF-квантизации и аппаратной конфигурации.

llmfan46/gemma-4-E2B-it-ultra-uncensored-heretic — мультимодальная производная Gemma 4 E2B IT от независимого автора llmfan46. По README, изменён компонент attn.o_proj; модель основана на google/gemma-4-E2B-it и предназначена для диалогов, рассуждений, генерации и исправления кода, а также анализа изображений и аудио. Метаданные указывают архитектуру Gemma4ForConditionalGeneration, плотную модель и формат safetensors; библиотека для работы — Transformers. Модель принимает текст и изображения, а для варианта E2B также поддерживает распознавание речи и перевод речи в текст. README базовой Gemma 4 сообщает о контекстном окне до 128K токенов для E2B и E4B, видеоанализе по последовательности кадров, вызове инструментов и поддержке более 35 языков; карточка этой производной не подтверждает отдельно все эти возможности. Лицензия — Apache-2.0. В названии и тегах модель обозначена как uncensored, decensored и abliterated. README в основном описывает базовое семейство и не приводит отдельных оценок качества или точных характеристик этого варианта. Возможны фактические ошибки, затруднения с неоднозначными формулировками и пробелы, связанные с обучающими данными.

GigaChat3-10B-A1.8B — диалоговая языковая модель семейства GigaChat, опубликованная под идентификатором ai-sage/GigaChat3-10B-A1.8B. Она предназначена для генерации и обработки текста, включая диалоговые сценарии, ответы на вопросы, работу с математическими и академическими задачами, программированием и структурированием информации. Модель дообучена на высококачественных SFT-данных поверх базовой версии GigaChat3-10B-A1.8B-base. Модель использует архитектуру Mixture-of-Experts с 10 миллиардами общих и 1,8 миллиарда активных параметров. В архитектуре применяются Multi-head Latent Attention (MLA), снижающая требования к памяти за счёт сжатия KV-кэша, и Multi-Token Prediction (MTP), поддерживающая ускоренную спекулятивную или параллельную генерацию. Модель ориентирована на высокопроизводительный инференс в формате fp8; также доступна версия bf16. В README указана поддержка русского и английского языков, а обучающие данные охватывают всего 10 языков, включая китайский, арабский, узбекский и казахский. Размер контекста в доступных данных не указан. К сильным сторонам относятся высокая пропускная способность, сниженные требования к памяти благодаря MLA и потенциальное ускорение генерации до 40% при использовании MTP. Приведённые бенчмарки показывают конкурентные результаты в русскоязычных и англоязычных задачах, математике и программировании, однако показатели зависят от методики оценки и конфигурации инференса. Ограничения модели, включая возможные ошибки, галлюцинации и неравномерное качество по языкам и задачам, отдельно не описаны. Лицензия модели — MIT.

GLM-4-9B-Chat — диалоговая языковая модель семейства GLM, выпущенная Zhipu AI. Репозиторий содержит версию в формате Transformers и safetensors; модель насчитывает 8,8 млрд параметров и рассчитана на генерацию текста в многораундовом чате. Модель подходит для ответов на вопросы, рассуждений, задач по математике и коду, а также для сценариев с вызовом инструментов и длинными документами. Заявленная длина контекста — до 128K токенов. Поддерживаются китайский и английский; автор также заявляет поддержку 26 языков. README сообщает о результатах тестов на задачах семантики, математики, рассуждений, кода и знаний, но не приводит полных данных для некоторых сравнительных таблиц. Это дообученная версия THUDM/glm-4-9b-chat. Для загрузки весов требуется transformers версии 4.46.0 или новее: репозиторий несовместим с более старыми версиями. Лицензия указана как other, поэтому условия использования следует уточнить в материалах репозитория.

Granite-3.0-3B-A800M-Instruct — инструктивная языковая модель семейства Granite 3.0, разработанная командой Granite в IBM. Это дообученная на инструкционных данных модель IBM Granite-3.0-3B-A800M-Base с разреженной архитектурой Transformer Mixture of Experts и декодером, содержащая 352,3 млн параметров по метаданным. Модель принимает текст и генерирует текст; её контекстное окно составляет 4096 токенов. Модель предназначена для ответов на общие инструкции и создания диалоговых помощников, в том числе для бизнес-приложений. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и вызов функций. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Диалоговый формат и интерфейс вызова инструментов подходят для построения ассистентов. Модель выпущена в октябре 2024 года и распространяется по лицензии Apache 2.0. По данным разработчика, качество на многоязычных задачах может уступать английскому; возможны неточные, предвзятые или небезопасные ответы. Для целевых сценариев рекомендуется проверка и настройка модели.

Granite 3.0 8B Instruct — это языковая модель для генерации текста, разработанная IBM и опубликованная в формате GGUF пользователем bartowski. Репозиторий содержит квантизированные варианты базовой модели ibm-granite/granite-3.0-8b-instruct, подготовленные с использованием llama.cpp и imatrix. Модель предназначена для локального запуска, в частности через LM Studio, и поддерживает стандартный формат диалога с системными и пользовательскими сообщениями. Модель имеет около 8 млрд параметров и работает в режиме text-generation. Она ориентирована на следование инструкциям, ответы на вопросы, рассуждения, математические задачи, генерацию кода и мультиязычные сценарии; в README приведены результаты на IFEval, AGI-Eval, OBQA, BoolQ, ARC-C, HumanEvalSynthesis, GSM8K и PAWS-X для семи языков. Архитектура, точный размер контекста, перечень поддерживаемых языков и модальности дополнительно не указаны, поэтому модель следует считать текстовой. Основное преимущество этой версии — выбор квантизаций от F16 до Q4, позволяющий снизить требования к памяти при сохранении качества. В README рекомендуются варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S и Q4_K_M; более компактные варианты экономят память, но могут сильнее снижать качество. Ограничениями являются отсутствие мультимодальности в описании, неполные сведения о контексте и языках, а также необходимость самостоятельно выбрать подходящий файл и совместимое ПО. Модель распространяется по лицензии Apache-2.0.

Hermes3.6-35B-A3B-Uncensored-Genesis-NVFP4-GGUF — квантованная версия семейства Qwen 3.6 / Hermes 3.6, созданного на основе работ LuffyTheFox и HauhauCS. Квантование NVFP4, интеграцию MTP и публикацию GGUF выполнил jan1k. Модель предназначена для генерации текста, программирования, точных и творческих задач, агентских сценариев и вызова инструментов. Также заявлена поддержка изображений через отдельный мультимодальный проектор mmproj в формате F16. Модель построена на архитектуре Mixture of Experts: содержит около 35 млрд параметров, при этом на каждом токене активируется примерно 3 млрд параметров и 8 экспертов. Доступен контекст до 128K токенов при использовании рекомендованной конфигурации llama.cpp. Заявлена поддержка английского, китайского и других языков. Формат NVFP4 оптимизирован для GPU NVIDIA поколений Ada Lovelace, Blackwell и Ampere. Genesis — применённый алгоритм посттренировочной регенерации и калибровки GGUF, направленный на снижение шума весов и сохранение значимой части исходного сигнала без переобучения. К сильным сторонам относятся высокая вычислительная эффективность MoE, большой контекст, поддержка vision, режимов рассуждения и JSON-вызова инструментов, а также сниженное потребление памяти благодаря 4-битному представлению. Ограничение этой версии существенно: репозиторий помечен как устаревший, а расширенный вариант NVFP4 с отдельными тензорами масштабирования несовместим с LM Studio и Pelican и может выдавать некорректный результат. Для работы рекомендуется совместимый llama.cpp и соответствующая настройка шаблона чата. Модель распространяется по лицензии Apache-2.0.

Hy4 preview — крупная языковая модель нового поколения, разработанная командой Tencent Hy. Это Mixture-of-Experts (MoE) модель для генерации текста и решения сложных задач, включая программную инженерию, анализ документов и данных, подготовку документов, таблиц и презентаций, финансовое моделирование, разработку игр и научные исследования. Модель содержит 770 млрд параметров, из которых 49 млрд активируются для каждого токена. Архитектура включает 78 слоёв, 256 маршрутизируемых и одного общего эксперта в MoE-слоях, при этом на токен выбираются 8 маршрутизируемых экспертов и общий эксперт. Используются Gated DeepSeek Sparse Attention, IndexCache для повторного использования разреженных индексов между слоями и iHC для расширения межслойного информационного обмена. Контекстное окно составляет 1 млн токенов. В модель также встроен слой MTP для speculative decoding. README не указывает поддерживаемые языки и мультимодальные возможности. Сильные стороны Hy4 preview — большой контекст, высокая вычислительная ёмкость, специализация на длительных задачах разработки, анализе неструктурированных материалов, математике и научном рассуждении. Модель позиционируется как открытая флагманская система и показывает конкурентные результаты во внутренних оценках Tencent. При этом это ранняя preview-версия: разработчики отмечают необходимость дальнейшего улучшения и склонность тратить больше времени, чем требуется, на рассуждение по сложным задачам. Распространение осуществляется по лицензии Apache 2.0.

Kimi K3 — открытая мультимодальная модель AMAImedia, выпущенная в составе платформы автоматизации профессионального дубляжа NOESIS. В карточке заявлены архитектура Kimi Delta Attention с Attention Residuals, размер 2,8 трлн параметров и контекст до 1 млн токенов; метаданные указывают класс KimiK3ForConditionalGeneration и формат safetensors. Модель принимает текст и изображения, а README также заявляет поддержку видео; её назначение включает диалог, рассуждения, длительные задачи программирования и агентную работу с инструментами. Модель рассчитана на анализ больших репозиториев и документов, помощь в разработке, исследовательские задачи и мультимодальную работу с изображениями и видео. README сообщает, что режим размышления включён постоянно и ответ может содержать reasoning_content; усилие рассуждения настраивается параметром reasoning_effort. Указанная в карточке лицензия — other, а README называет её Kimi K3 License, поэтому конкретные условия следует проверять в тексте лицензии репозитория. Метаданные классифицируют модель как image-text-to-text, при этом каталог дополнительно относит её к text-generation.

AMAImedia/Kimi-K3-MXFP-GGUF — размещённая AMAImedia квантованная GGUF-сборка модели Kimi K3, представленной Moonshot AI. В карточке указаны архитектура MoE на основе Kimi Delta Attention и Attention Residuals, 2,8 трлн параметров и контекст до 1 млн токенов. Модель принимает текст и изображения; семейство также поддерживает видео. Заявлена поддержка множества языков, включая русский, английский, китайский, вьетнамский и японский. Модель предназначена для генерации текста и мультимодальных диалогов, в том числе для программирования, рассуждений и агентной работы с длинным контекстом. Автор карточки сообщает о квантизации GGUF UD-IQ1_S; такой вариант ориентирован на локальный запуск, но требует значительных ресурсов, а производительность и качество могут зависеть от оборудования и квантизации. В карточке приведена лицензия Apache-2.0; README упоминает лицензию Kimi K3, поэтому условия для этой конкретной сборки следует сверять с файлами лицензии репозитория.

Llama-3.1-Nemotron-Nano-8B-v1 — языковая модель NVIDIA, дообученная на основе Meta Llama-3.1-8B-Instruct. Это плотный авторегрессионный Transformer с архитектурой Llama и примерно 7,5 млрд параметров; модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель предназначена для диалогов, следования инструкциям и рассуждений, включая задачи по математике и программированию. Её можно применять в чат-ботах, агентных системах и RAG-сценариях; заявлен баланс качества и вычислительной эффективности, включая запуск на одной RTX GPU. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского. В README описано многоэтапное дообучение с SFT и обучением с подкреплением, в том числе для математических задач, кода, рассуждений, диалогов и вызова инструментов. Модель заявлена как готовая к коммерческому использованию, однако в метаданных лицензия обозначена как «other», поэтому перед внедрением следует проверить условия лицензии на странице репозитория. Результаты зависят от режима рассуждений и настроек генерации; приведённые в карточке оценки измерялись при длине последовательности 32K токенов, а не на полном контексте.

Mistral Small 3 Instruct 2501 — плотная причинная языковая модель Mistral AI Team с 23,4 млрд параметров, представленная в формате safetensors и предназначенная для генерации текста по инструкциям. Она подходит для диалоговых агентов, рассуждений, вызова функций, формирования JSON и локального инференса; в README также отмечены сценарии тонкой настройки под предметные области и обработка чувствительных данных на локальной инфраструктуре. Модель поддерживает контекст до 32 768 токенов и, согласно карточке, десятки языков, включая английский, французский, немецкий, испанский, китайский и японский. В README заявлены следование системным инструкциям и агентные возможности. Для работы с GPU карточка указывает потребность более чем в 60 ГБ видеопамяти; локальный запуск на меньшем объёме памяти возможен после квантизации. Модель выпущена под лицензией Apache 2.0, допускающей коммерческое и некоммерческое использование.

NVIDIA Nemotron-3-Ultra-550B-A55B-BF16 — крупная языковая модель NVIDIA для диалогов, рассуждений и агентных приложений. Она предназначена для разработчиков систем с ИИ-агентами, чат-ботов и RAG-приложений, а также для анализа больших документов и кодовых баз, сложного следования инструкциям и задач по математике и науке. Модель содержит 550 млрд параметров, из которых 55 млрд активируются при обработке токена. Архитектура LatentMoE объединяет слои Mamba-2, Mixture-of-Experts и внимания; Multi-Token Prediction поддерживает ускоренную генерацию. Метаданные указывают контекстное окно 262 144 токена, а README заявляет до 1 млн токенов. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, хинди, корейский, португальский и китайский языки; в метаданных также отмечен иврит. Модель предназначена для коммерческого и некоммерческого использования. В метаданных лицензия обозначена как other, поэтому перед внедрением следует свериться с условиями лицензии в карточке модели. Масштаб модели требует значительных вычислительных ресурсов; заявленная длина контекста README отличается от значения в метаданных.

Qwen1.5-32B-Chat-GPTQ-Int4 — чат-модель из серии Qwen, разработанная командой Qwen. Это decoder-only языковая модель на архитектуре Transformer, дообученная с применением supervised fine-tuning и direct preference optimization для диалогового взаимодействия и генерации текста. Она предназначена для создания виртуальных ассистентов, ответов на вопросы, ведения диалогов и других сценариев text-generation. Модель содержит 32 млрд параметров и предоставляется в формате GPTQ с 4-битным квантованием, что снижает требования к памяти по сравнению с полноразмерной версией. Для неё заявлена поддержка контекста до 32K токенов, мультиязычность и работа с естественными языками и кодом; в метаданных README явно указан английский язык. Архитектура включает SwiGLU, bias в QKV и group query attention для версии 32B. Модель поддерживает стандартный интерфейс Transformers без необходимости использовать trust_remote_code. К сильным сторонам относятся чатовая настройка, улучшенная работа с предпочтениями пользователей, большой контекст и более экономичное размещение благодаря Int4-квантованию. Ограничения включают beta-статус семейства, возможные проблемы при переключении между языками и необходимость подбора рекомендованных параметров генерации. README временно не рекомендует развёртывание этой версии через vLLM и советует использовать AWQ-модель. Для загрузки рекомендуется transformers версии 4.37.0 или новее. Лицензия указана как tongyi-qianwen; применяются условия лицензии, опубликованной разработчиками.

ibrahimkettaneh/Qwen2.5-32B-Instruct-abliterated-pass2-AWQ — это квантованная в формате AWQ производная версия Qwen2.5-32B-Instruct. Репозиторий опубликован Ibrahim Kettaneh, а исходную модель разработала команда Qwen компании Alibaba Cloud. Вариант pass2 относится к моделям с изменённым поведением отказов, описываемым как refusal-ablated; точные методы и результаты такого изменения в доступных данных не указаны. Модель предназначена для генерации текста, диалогов, следования инструкциям, работы со структурированными данными, программированием и математическими задачами. Она сохраняет характеристики базовой Qwen2.5-32B-Instruct: causal language model с архитектурой на основе Transformer, RoPE, SwiGLU, RMSNorm и GQA; около 32,5 млрд параметров, 64 слоя, 40 attention heads для Q и 8 для KV. Поддерживаются контекст до 131 072 токенов и генерация до 8 192 токенов, а также более 29 языков, включая русский, английский и китайский. Это текстовая модель без заявленной поддержки изображений или других модальностей. Ключевые преимущества — большой размер, развитое следование инструкциям, длинный контекст, мультиязычность и сниженное количество стандартных отказов вследствие abliteration. Ограничения включают высокие требования к памяти и вычислениям, возможное ухудшение безопасности и надёжности отказов по сравнению с исходной instruct-моделью, а также отсутствие подтверждённых независимых оценок именно этой AWQ-версии. Для производной модели лицензия в найденных данных не заявлена; у базовой Qwen2.5-32B-Instruct указана Apache License 2.0, но её применимость к данному производному репозиторию следует проверять отдельно.

CalamitousFelicitousness/Qwen2.5-3B-Instruct-fp8-dynamic — инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это каузальная Transformer-модель для генерации текста и диалоговых сценариев, включая следование инструкциям, ответы на вопросы, работу со структурированными данными и создание структурированных ответов, в том числе JSON. Указанная версия основана на Qwen/Qwen2.5-3B и использует динамическое 8-битное представление FP8, однако подробности реализации квантования в README не приведены. Модель содержит 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и имеет 36 слоёв. Архитектура включает RoPE, SwiGLU, RMSNorm, смещения в QKV внимания, связанные эмбеддинги слов и GQA с 16 головами для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Сильными сторонами являются улучшенные возможности в программировании и математике, следование инструкциям, генерация длинных текстов, обработка структурированных данных и устойчивость к разнообразным системным промптам. Ограничения включают меньший размер по сравнению с крупными моделями семейства и отсутствие в README подробных результатов оценки, требований к аппаратным ресурсам, характеристик производительности и описания модальностей, отличных от текста. Лицензия указана как qwen-research; применимые условия следует уточнять в тексте лицензии Qwen/Qwen2.5-3B.

duyntnet/Qwen2.5-7B-Instruct-imatrix-GGUF — набор imatrix-квантизированных версий инструкционно дообученной текстовой модели Qwen2.5-7B-Instruct. Исходную модель разработала команда Qwen компании Alibaba Cloud. Репозиторий предназначен для локального запуска и генерации текста через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель представляет собой авторегрессионную causal language model на базе архитектуры Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами запросов и 4 головами ключей и значений. Модель ориентирована на диалог, следование инструкциям, генерацию длинных текстов, работу со структурированными данными и создание структурированных ответов, включая JSON, а также на задачи программирования и математики. Поддерживается более 29 языков, включая русский, английский, китайский, французский, немецкий, испанский, японский и корейский. Заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена. При этом исходная конфигурация рассчитана на 32 768 токенов; для работы с более длинными входами требуется включение расширения YaRN с указанными параметрами. Квантизация снижает требования к ресурсам и упрощает локальный запуск, но конкретные характеристики качества, скорости и потребления памяти зависят от выбранного варианта GGUF. В репозитории указана лицензия other, без подробного описания условий использования.

unsloth/Qwen3-0.6B-unsloth-bnb-4bit — 4-битная версия причинной языковой модели Qwen3-0.6B, подготовленная Unsloth на базе Qwen/Qwen3-0.6B и предназначенная для запуска и дообучения через библиотеку Transformers. Модель ориентирована на генерацию текста, диалог, следование инструкциям, решение задач, написание кода, рассуждения и интеграцию с внешними инструментами. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд приходятся не на embedding, и имеет 28 слоёв. В архитектуре внимания используется GQA с 16 головами Q и 8 головами KV. Максимальная длина контекста составляет 32 768 токенов. Qwen3 поддерживает переключение между режимами рассуждения и обычной генерации, а также более 100 языков и диалектов; при этом в карточке для данной версии явно указан английский язык. Ключевое преимущество версии — 4-битное квантование, снижающее требования к памяти и упрощающее локальный запуск, однако оно может сопровождаться некоторой потерей точности по сравнению с полноразмерными версиями. Для работы рекомендуется использовать актуальную версию Transformers; версии ниже 4.51.0 могут вызывать ошибку, связанную с поддержкой Qwen3. Модель распространяется по лицензии Apache-2.0.

Qwen3-1.7B-GGUF — квантованная версия причинной языковой модели Qwen3-1.7B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для локальной генерации текста, диалогов, следования инструкциям, решения математических и логических задач, программирования, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Она поддерживает переключение между режимом рассуждений для сложных задач и нерссуждающим режимом для более быстрых универсальных ответов. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding, включает 28 слоёв и использует Grouped Query Attention: 16 голов для Q и 8 для KV. Заявленная длина контекста — 32 768 токенов. Формат GGUF и квантование q8_0 ориентированы на запуск через llama.cpp и Ollama. Поддерживаются более 100 языков и диалектов, при этом README не уточняет полный перечень языков. К сильным сторонам относятся компактный размер, мультиязычность, возможности рассуждения, следования инструкциям и работы с агентными сценариями. Ограничения включают меньший размер по сравнению с крупными моделями, возможное снижение качества из-за квантования и зависимость результатов от настроек декодирования и поддерживаемого шаблона чата. Для режима рассуждений рекомендуются специальные параметры sampling; жадное декодирование не рекомендуется из-за риска ухудшения качества и повторов. Модель распространяется по лицензии Apache-2.0.

NVIDIA Qwen3-235B-A22B-Instruct-2507-NVFP4 — квантизированная версия языковой модели Qwen3-235B-A22B-Instruct-2507 от Alibaba, подготовленная с помощью TensorRT Model Optimizer. NVIDIA указывает, что модель не принадлежит и не разработана NVIDIA, а создана на основе сторонней модели для соответствующих сценариев применения. Модель предназначена для генерации текста и может использоваться в AI Agent системах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Это авторегрессионная текстовая модель с архитектурой Transformers и сетевой архитектурой Qwen3MoeForCausalLM. Она принимает текстовые строки и генерирует текст; число параметров не раскрыто. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Ключевое преимущество версии NVFP4 — квантизация весов и активаций линейных операторов внутри transformer-блоков с 16 до 4 бит, что примерно в 3,4 раза снижает требования к дисковому пространству и памяти GPU. Модель оптимизирована для инференса через TensorRT-LLM и систем на базе NVIDIA Blackwell, предпочтительно под Linux. Ограничения включают неизвестное количество параметров, отсутствие раскрытых сведений о тренировочных и тестовых данных, а также необходимость дополнительного тестирования на данных конкретного сценария. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование.

duyntnet/Qwen3-4B-imatrix-GGUF — набор квантованных версий языковой модели Qwen3-4B, опубликованный пользователем duyntnet и основанный на модели Qwen/Qwen3-4B. Это каузальная текстовая модель с примерно 4 млрд параметров, включая 3,6 млрд параметров без учёта эмбеддингов, 36 слоями и архитектурой Grouped-Query Attention: 32 головы запросов и 8 голов ключей и значений. Модель предназначена для генерации текста, диалогов, следования инструкциям, написания кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Qwen3-4B поддерживает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрых ответов в рамках одной модели. Указана поддержка более 100 языков и диалектов, однако для данной карточки в метаданных явно заявлен английский язык. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. Формат GGUF и imatrix-квантизация ориентированы на локальный запуск через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, LM Studio, GPT4All и другие клиенты. Сильными сторонами модели являются сочетание компактного размера, мультиязычности, развитого следования инструкциям, рассуждений и агентских возможностей, а также возможность локального инференса в квантованном формате. Ограничения включают зависимость качества и скорости от выбранного уровня квантизации и оборудования, необходимость совместимого инференс-движка и отсутствие в карточке подробных результатов бенчмарков, требований к ресурсам и точных параметров конкретных квантованных файлов. В метаданных указана лицензия other; дополнительных условий лицензирования в README не приведено.

Qwen3.5-35B-A3B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-35B-A3B, разработанная ByteShape с использованием ShapeLearn. ShapeLearn подбирает оптимальный тип данных для каждого тензора, стремясь сохранить качество при малой разрядности. Модель распространяется в вариантах для GPU и CPU с различными компромиссами между размером, скоростью и качеством; размер доступных вариантов в приведённой таблице составляет от 9,41 до 17,9 ГБ при 2,17–4,12 бит на вес. Модель предназначена для текстовых и визуально-текстовых задач, включая диалоговое применение, программирование, агентные сценарии, function calling и обработку изображений. Она поддерживает vision-возможности при запуске через llama.cpp с автоматической загрузкой vision projector. Для работы рекомендуются llama.cpp или LM Studio; на момент публикации Ollama не поддерживает эту модель на базе Llama.cpp GGUF. В README не указаны языки и размер контекстного окна. К сильным сторонам относятся доступность нескольких уровней квантизации, оптимизация под разные аппаратные платформы и заявленная ориентация на сохранение качества при низкой разрядности. Ограничения включают зависимость характеристик от выбранного варианта квантизации и оборудования, а также отсутствие в README подробных численных результатов benchmark-тестов для конкретных файлов. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.5-9B-AWQ-4bit — это 4-битная AWQ-квантизированная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, включая визуальное понимание, рассуждения, программирование и агентские сценарии. Она распространяется в формате, совместимом с Transformers, vLLM, SGLang и KTransformers. Модель содержит около 9 млрд параметров и построена как авторегрессионная языковая модель с vision encoder. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; заявлены 32 слоя и скрытая размерность 4096. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Квантизация AWQ снижает требования к памяти и может сделать инференс практичнее на совместимом оборудовании, однако возможны потери качества по сравнению с полноразмерной версией, а фактическая производительность зависит от используемого движка. Модель ориентирована на разработчиков и корпоративные приложения, которым нужны мультимодальные ответы, анализ изображений, работа с длинным контекстом, кодом и сложными задачами. README не содержит подробностей о специфических ограничениях, безопасности, точных требованиях к оборудованию или характеристиках именно квантизированной версии. Лицензия — Apache-2.0.

Qwen3.5-9B-Gemini-3.1-Pro-Reasoning-Distill — модель для генерации текста и решения сложных многошаговых задач, дообученная на базе Qwen3.5-9B. Она создана с применением supervised fine-tuning, LoRA и дистилляции рассуждений из Gemini 3.1, Gemini 3.0 Pro и Qwen3.5-27B. Основной акцент сделан на структурированном анализе, планировании, декомпозиции задач и более лаконичных ответах. Модель предназначена для математики и логики, программирования и системного анализа, научных, инженерных, юридических, медицинских и финансовых задач, а также для сценариев, связанных с безопасностью и adversarial reasoning. В карточке указана текстовая модальность, pipeline text-generation и поддержка английского, китайского и корейского языков. Размер базовой модели — 9B параметров; размер контекста и точные требования к аппаратным ресурсам не указаны. Сильными сторонами модели считаются многошаговое рассуждение, отслеживание ограничений, последовательное планирование, междисциплинарный охват и анализ отказов или атак. При этом дистилляция и специализированное дообучение могут ухудшать обобщение в некоторых широких сценариях и приводить к частичному забыванию знаний базовой модели, поэтому модель рекомендуется оценивать на целевых задачах перед внедрением. Лицензия — Apache-2.0.

Qwen3.5-9B-GGUF — это квантизированная в формате GGUF версия модели Qwen3.5-9B, подготовленная ByteShape с использованием технологии ShapeLearn. ShapeLearn подбирает тип данных отдельно для каждого тензора, чтобы сохранить высокое качество при малой разрядности. Модель имеет около 9 миллиардов параметров и поддерживает работу с текстом и изображениями, включая сценарии vision-language. Она предназначена для локального запуска и задач генерации текста, программирования, рассуждений, следования инструкциям и function calling; в README также указаны оценки на BFCL-V3, LiveCodeBench V6, HumanEval, GSM8K, IFEVAL и MMLU. Репозиторий предлагает варианты для GPU и CPU с разными компромиссами между размером, скоростью и качеством: от 2.81 до 5.10 bits per weight и примерно от 3.15 до 5.72 ГБ. Для запуска рекомендуются llama.cpp и LM Studio; llama.cpp автоматически загружает vision projector. Ollama на момент публикации README эту модель не поддерживает. Доступны оптимизированные варианты для различных аппаратных платформ, однако конкретный размер контекста, список поддерживаемых языков и подробные результаты тестов в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-NVFP4 — квантизированная версия модели Qwen3.5-9B, подготовленная IG1. Модель предназначена для задач генерации текста и мультимодального взаимодействия в формате image-text-to-text, включая диалоги, рассуждения, программирование, работу с мультиязычными запросами и, при соответствующей поддержке сервера, вызов инструментов. Базовая модель разработана командой Qwen; в карточке также указаны наборы данных UltraChat, GSM8K, CodeAlpaca и Aya, использованные для калибровки квантизации. Модель использует гибридную архитектуру Mamba с компонентами attention и поставляется в формате NVFP4. При квантизации длина последовательности была увеличена до 8192 токенов, а калибровочная выборка — до 1024 примеров из разговорных, математических, программных и мультиязычных данных. Для запуска рекомендуется vLLM на GPU NVIDIA; в примере конфигурации для RTX 5090 заявлена максимальная длина контекста около 110 880 токенов, однако фактический размер зависит от настроек и доступной видеопамяти. К сильным сторонам относятся сниженное потребление памяти благодаря NVFP4, поддержка режимов с рассуждением и без него, а также профили для общих, программных и творческих сценариев. Ограничением является несовместимость или нестабильная работа FP8 KV cache: по данным автора, его использование может приводить к быстрой деградации качества или повреждению результатов квантизации. Карточка рекомендует развертывание через vLLM и содержит настройки для оптимизации работы на RTX 5090. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель на базе Qwen3.6-35B-A3B, разработанная HauhauCS. Это вариант с усиленным снятием ограничений на отказы: по заявлению автора, модель генерирует полный ответ даже на запросы, от которых обычно отказывается базовая версия. Модель предназначена для диалогов, анализа и генерации текста, программирования, а также работы с изображениями и видео. Архитектура — гибридная MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. Используются 256 экспертов, из которых для каждого токена выбираются 8; модель содержит 40 слоёв и сочетает linear attention с полной softmax attention в соотношении 3:1. Заявлен нативный контекст до 262 тысяч токенов. Поддерживаются текст, изображения и видео; указаны английский, китайский и другие языки. Для обработки изображений требуется отдельный файл mmproj. Модель доступна в формате GGUF с вариантами квантования от Q8 до Q2, включая пользовательские K_P-кванты, оптимизированные для сохранения качества. Сильные стороны — большой контекст, мультимодальность, MoE-эффективность и отсутствие встроенных отказов. Ограничение агрессивного варианта — возможное отсутствие защитных барьеров и редкие краткие дисклеймеры, которые автор связывает с обучением базовой модели. Для запуска подходят llama.cpp, LM Studio и другие GGUF-совместимые среды. Лицензия — Apache-2.0.

abhishekchohan/Qwen3.8-27B-AWQ-INT4 — это 4-битная AWQ-квантизированная версия модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для генерации текста, рассуждений, математических и научных задач, программирования, обработки мультиязычных запросов и работы с изображениями. Она поддерживает визуально-текстовые сценарии благодаря встроенному ViT-энкодеру. Модель имеет гибридную архитектуру с 64 текстовыми слоями, включающими стандартное attention и линейное внимание DeltaNet, а также контекст до 262 144 токенов. Используется weight-only формат W4A16: веса хранятся в INT4 с group size 32 и асимметричными zero-point, KV-кэш — в BF16. Размер весов составляет около 20 ГБ, благодаря чему модель рассчитана на запуск с родным контекстом на одной GPU с 48 ГБ памяти. На GPU с 96 ГБ возможно расширение контекста до 524 288 токенов через YaRN, однако retrieval за пределами 262 144 токенов не проверялся. Главное преимущество — существенное снижение требований к памяти при сохранении результатов, близких к BF16-версии: на 9 из 10 заявленных тестов различия находятся в пределах статистического шума, а поиск информации на длинном контексте успешно проверен до 262 144 токенов. Ограничения включают заметное снижение результата в MathVision, неполную проверку визуальных возможностей, отсутствие оценки агентных сценариев и инструментального вызова, а также отсутствие количественной валидации speculative decoding. Модель распространяется по лицензии Apache-2.0.