II.3Рефакторинг, миграция и модернизация

Это GGUF-квантизация инструкционной языковой модели Llama-3.1-Nemotron-70B-Instruct-HF-abliterated. Исходную модель опубликовала huihui-ai, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix; в метаданных также указана связь с NVIDIA. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через LM Studio и другие совместимые с llama.cpp приложения. Модель содержит 70 миллиардов параметров, поддерживает текстовую модальность и, согласно метаданным, ориентирована на английский язык. README не указывает размер контекста и точную архитектуру, но приведён специальный prompt format на основе шаблона Llama 3.1 с ролями system, user и assistant. Доступны варианты квантизации от Q8_0 до IQ2_XS с размером файлов примерно от 75 до 24 ГБ; более высокие уровни обычно сохраняют лучшее качество, а низкие позволяют снизить требования к памяти. Сильной стороной являются широкий выбор форматов GGUF и возможность локального запуска при наличии значительного объёма RAM или VRAM. Ограничения включают большие требования к ресурсам, снижение качества на низких уровнях квантизации и отсутствие в README подробных результатов оценки. Модель не является мультимодальной, а поддержка других языков явно не заявлена. Указана лицензия llama3.1.

Llama-3-Hercules-5.0-8B — дообученная Locutusque языковая модель на базе Llama 3 8B. Она предназначена для выполнения инструкций, диалогов и вызова функций в научных и технических областях. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов; репозиторий содержит веса в формате safetensors. Модель подходит для научно-технических чат-ботов, образовательных помощников, пошаговых объяснений и генерации кода с использованием вызовов функций. В карточке заявлена работа с биологией, химией, физикой, математикой, медициной и информатикой. Сведения о поддерживаемых естественных языках не приведены. Модель может выдавать токсичный контент, галлюцинировать и допускать фактические ошибки, в том числе в специализированных темах; ответы и вызовы функций требуют проверки. Лицензия указана как llama3.

Orion-14B-Base — базовая мультиязычная большая языковая модель, разработанная OrionStarAI и обученная с нуля. Она содержит 14,1 млрд параметров и обучена на корпусе объёмом 2,5 трлн токенов. Модель использует плотную архитектуру OrionForCausalLM и доступна в формате PyTorch. Модель предназначена для генерации текста и служит основой для прикладных систем и последующего дообучения. По описанию разработчика, она рассчитана на работу с китайским, английским, японским и корейским языками, а также демонстрирует сильные результаты в многоязычных оценках. Заявленная длина контекста — 4096 токенов; возможность обработки сверхдлинных текстов относится к отдельной версии Orion-14B-LongChat. Карточка также отмечает возможности в задачах, связанных с кодом. Ограничения и условия лицензии в предоставленном фрагменте README не описаны; результаты из таблиц оценки не позволяют сделать вывод о качестве для конкретной задачи.

Ouro-1.4B-Thinking-depth-SFT — дообученная разговорная языковая модель примерно с 1,3 млрд параметров, основанная на ByteDance/Ouro-1.4B-Thinking. Она использует плотную архитектуру Ouro для генерации текста и ответов с рассуждениями; карточка задаёт параметр глубины DEPTH=16. Модель рассчитана на диалоги и задачи, где полезны пошаговые рассуждения, включая математику, науку и код. Она принимает текст и выдаёт текст, поддерживает контекст до 65 536 токенов и предназначена для использования через Transformers. Модель опубликована под лицензией Apache-2.0. Доступная карточка содержит мало сведений о данных и результатах обучения, поэтому качество на конкретных задачах и языках по ней оценить нельзя.

Alittlehammmer/Qwen3.6-35B-A3B-DFlash-GGUF-llama.cpp — это набор квантованных GGUF-версий модели z-lab/Qwen3.6-35B-A3B-DFlash, подготовленный Alittlehammmer для использования с llama.cpp. Модель предназначена для генерации текста, включая сценарии агентного программирования, а также может применяться в локальных приложениях и серверных решениях на базе llama.cpp. Доступны варианты квантования Q4_K_M, Q5_K, Q6_K, Q8_0 и BF16 с разрядностью от 4 до 16 бит и ориентировочным размером от 235 до 771 МБ. Q8_0 описан как вариант с высочайшим качеством, близким к исходному, а BF16 — как эталонный файл полной точности. В README не указаны архитектурные детали исходной модели, поддерживаемые языки, длина контекста, мультимодальные возможности и результаты бенчмарков. Для работы модель следует использовать совместно с соответствующими квантованными версиями Qwen3.6 и настроить llama-server для speculative decoding с параметрами DFlash. Более сильное квантование обычно требует больше памяти, но лучше сохраняет качество; точные требования к оборудованию и ограничения производительности не приведены. Распространение выполняется по лицензии Apache-2.0.

Youssofal/Qwen3.8-27B-MTPLX-Bare-Speed-FP16 — это MLX-сборка модели Qwen3.8-27B, подготовленная для запуска через MTPLX на компьютерах Mac с Apple Silicon. Модель предназначена для локального текстового общения и генерации, включая задачи программирования, приоритетом является высокая скорость генерации в коротких диалогах и быстрых ответах. Разработчик базовой модели — Qwen, сборку и оптимизацию MTPLX выполнил Youssofal для работы на Apple Silicon. Модель имеет размер 27B параметров, использует FP16 для части плавающих тензоров и поддерживает контекст до 262 144 токенов. В MTPLX применяется speculative decoding с multi-token prediction глубиной 3, что позволяет ускорять генерацию без изменения результата относительно обычного декодирования при указанных условиях. Размер загрузки составляет 16 ГБ; для работы требуется Mac с чипом M1–M5 и не менее 32 ГБ unified memory. Эта версия оптимизирована прежде всего для M1 и M2, тогда как для M3 и новее рекомендуется родительская сборка. Сильная сторона модели — высокая скорость генерации и эффективный локальный запуск на совместимых Mac; заявлены до 65,2 токена в секунду на тесте программирования, измеренном на M5 Max, хотя показатели для M1 и M2 отдельно не опубликованы. Ограничения — более низкое качество и меньшая скорость на длительных задачах программирования по сравнению с вариантами, ориентированными на качество, а также зависимость от оборудования Apple Silicon и MTPLX. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-8B-Base-bf16 — текстовая авторегрессионная модель семейства Qwen3 с плотной архитектурой Qwen3ForCausalLM и 7,6 млрд параметров. Репозиторий mlx-community содержит версию для MLX, преобразованную из Qwen/Qwen3-8B-Base с помощью mlx-lm 0.24.0. Модель предназначена для генерации текста и дальнейшей адаптации под прикладные задачи. Она принимает текст и выдаёт текст; нативная длина контекста составляет 32 768 токенов. В метаданных указана лицензия Apache-2.0. README не приводит сведений о конкретной языковой специализации или оценках качества.

Qwen3.8 Flash-Next Uncensored NVFP4 + MTP — мультимодальная модель класса Mixture-of-Experts, разработанная на основе чекпойнта mazinb/Qwen3.8-Flash-Next-Uncensored-NVFP4 и опубликованная пользователем aday777. Она предназначена для высокопроизводительной генерации текста со speculative decoding на GPU NVIDIA Blackwell, включая длинный контекст, мультимодальные сценарии, tool calling и reasoning-каналы. Модель относится к pipeline text-generation и поддерживает английский язык. Модель содержит примерно 125 млрд параметров, из которых около 6 млрд активируются на один токен. Целевые MoE-эксперты и эксперты MTP квантизованы в NVFP4, общие эксперты целевой модели используют BF16; применяются MTP speculative depth 3 и контекст до 131 072 токенов. В квалификационном тесте на NVIDIA RTX PRO 6000 Blackwell 96 GB была достигнута скорость 161,12 выходного токена в секунду, однако для работы требуется современная совместимая сборка vLLM с поддержкой Qwen4-Exp/Flash-Next, Blackwell NVFP4 MoE, MTP и выгрузки PLE на CPU. Сильными сторонами являются высокая пропускная способность, поддержка длинного контекста, мультимодальности и спекулятивного декодирования, а также детерминированная конвертация и опубликованные контрольные суммы файлов. Ограничения включают зависимость от специфической аппаратной и программной конфигурации, возможную несовместимость со старыми версиями vLLM и необходимость самостоятельно проверять качество и безопасность. Модель намеренно uncensored и abliterated, поэтому может выполнять небезопасные, незаконные, неточные или вредоносные запросы; README прямо возлагает ответственность за контроль доступа и применение на пользователя. Модель распространяется по лицензии Apache-2.0. Указанная лицензия относится к карточке модели; дополнительные риски и условия использования следует оценивать с учетом происхождения базового чекпойнта и применимого законодательства.

Sao10K_Llama-3.3-70B-Vulpecula-r1-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Llama-3.3-70B-Vulpecula-r1, разработанной Sao10K и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться через llama.cpp, LM Studio и другие совместимые проекты. Заявленный язык — английский. Модель относится к семейству Llama 3.3 и имеет 70 миллиардов параметров; поддерживается только текстовая модальность. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-квантов разного размера: более высокие разрядности обычно обеспечивают лучшее качество, а низкие уменьшают требования к памяти ценой заметной потери качества. Для работы требуется значительный объём оперативной или видеопамяти: размер файлов варьируется примерно от 27 до 75 ГБ. Формат prompt должен соответствовать шаблону Llama 3.3. Размер контекстного окна в README не указан. Сильными сторонами являются высокая ёмкость исходной 70-миллиардной модели, широкий выбор компромиссов между качеством и размером, а также совместимость с локальным запуском через llama.cpp. Ограничения включают большие требования к ресурсам, снижение качества при агрессивной квантизации и отсутствие сведений о мультимодальности, поддерживаемых языках помимо английского и контекстном окне. Указанная лицензия — llama3.3.

STAR1-R1-Distill-7B — языковая модель, дообученная исследователями UCSC-VLAA на наборе STAR-1 из 1 000 примеров для повышения безопасности ответов моделей с многошаговыми рассуждениями. Она основана на DeepSeek-R1-Distill-Qwen-7B и использует архитектуру Qwen2; размер составляет 7,1 млрд параметров, формат весов — safetensors, библиотека — Transformers. Модель предназначена для диалоговой генерации текста и ответов с учётом принципов безопасности, сохраняя способности к рассуждению, в том числе в математике и программировании. Контекст модели — до 131 072 токенов. В README описана оценка и фильтрация обучающих примеров, однако конкретные языки, поддерживаемые моделью, не перечислены. Модель распространяется по лицензии Apache-2.0. Улучшения безопасности заявлены по результатам бенчмарков, но их величина и устойчивость в разных сценариях требуют проверки; дообучение на 1 000 примерах не гарантирует безошибочную обработку небезопасных запросов.

Thespis-CurtainCall-7b-v0.2.2 — языковая модель на архитектуре Mistral, выпущенная автором cgato для тестирования. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель дообучена на наборах данных для диалогов, следования инструкциям, вопросов и ответов, программирования, токсичных запросов, физического рассуждения и теории разума. Она предназначена для генерации текста в чат-сценариях; README описывает шаблон диалога с ролями пользователя и бота, совместимый с Ooba и SillyTavern. Модель представлена в формате PyTorch и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Автор выпустил эту версию для тестирования и рассматривает масштабирование при положительных отзывах; конкретные оценки качества и ограничения в карточке не приведены.

Qwen2.5-72B-Instruct-AWQ — большая инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалоговых ассистентов, генерации и анализа текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель поддерживает более 29 языков, среди которых английский, китайский, русский, французский, испанский, немецкий, японский, корейский и арабский. Это causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Модель содержит 72,7 млрд параметров, 70 млрд параметров без учёта эмбеддингов, 80 слоёв и использует Grouped-Query Attention с 64 головами для Q и 8 для KV. Репозиторий содержит 4-битную AWQ-квантизированную версию instruction-tuned модели. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов; для входов длиннее 32 768 токенов требуется настройка YaRN, а статическое масштабирование может ухудшать качество или производительность на коротких текстах. Сильные стороны модели — улучшенные знания, способности в программировании и математике, следование инструкциям, генерация длинных текстов, обработка таблиц и других структурированных данных, а также устойчивость к разнообразным системным промптам. Ограничения включают высокие требования к вычислительным ресурсам, возможное снижение производительности на коротких запросах при включённом YaRN и потенциальные потери качества, связанные с 4-битной квантизацией. Модель распространяется по лицензии Qwen; точные условия следует уточнять в файле лицензии репозитория.

Qwen2.5-32B-Instruct-GPTQ-Int4 — 4-битно квантованная GPTQ-версия инструкционно дообученной языковой модели Qwen2.5, разработанной командой Qwen. Это авторегрессионная causal language model для диалогов, генерации и преобразования текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит 32,5 млрд параметров, из которых 31 млрд относятся к неэмбеддинговым, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в attention QKV и GQA с 40 головами для Q и 8 для KV. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Заявленная длина контекста — до 131 072 токенов, а максимальная длина генерации — 8192 токена; в текущей конфигурации без дополнительной настройки доступно до 32 768 токенов, а для более длинных входов требуется YaRN. К преимуществам относятся улучшенные способности к программированию и математике, соблюдение инструкций, генерация длинных текстов, обработка таблиц и других структурированных данных, а также меньшие требования к памяти благодаря 4-битной квантованию. К ограничениям относятся возможное снижение качества по сравнению с исходной моделью в формате bfloat16 и потенциальное ухудшение производительности на коротких текстах при включении статического масштабирования YaRN. Модель распространяется по лицензии Apache-2.0 и предназначена для использования с библиотекой Transformers и совместимыми средствами инференса.

Qwen3-235B-A22B-Instruct-2507-FP8 — инструкционная causal language model семейства Qwen, разработанная командой Qwen. Это FP8-версия модели Qwen3-235B-A22B-Instruct-2507 для генерации текста и диалогового взаимодействия. Она предназначена для следования инструкциям, понимания текста, логического рассуждения, математики, научных задач, программирования, использования инструментов и открытых субъективных задач, включая генерацию качественного текста. Модель использует архитектуру Mixture-of-Experts: 235 млрд параметров всего, из которых 22 млрд активируются при обработке запроса; 234 млрд параметров относятся к неэмбеддинговым. Архитектура включает 94 слоя, 128 экспертов и 8 активируемых экспертов, а также Grouped Query Attention с 64 Q- и 4 KV-головами. Нативная длина контекста составляет 262 144 токена. Модель поддерживает несколько языков и улучшенное покрытие редких знаний, однако конкретный полный список языков в README не указан. Поддерживается только non-thinking mode: модель не формирует блоки <think></think>. Сильные стороны модели — улучшенные instruction following, рассуждение, кодинг, tool usage, многоязычность, субъективные и открытые задачи, а также обработка длинного контекста. Ограничения включают высокие требования к вычислительным ресурсам, обусловленные общим размером модели, и отсутствие режима thinking. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-FP8 — языковая модель серии Qwen, разработанная командой Qwen. Это causal language model в формате FP8-квантизации, предназначенная для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, перевода и задач с использованием внешних инструментов и агентных сценариев. Модель построена по архитектуре mixture-of-experts (MoE): содержит 30,5 млрд параметров, из которых при обработке каждого токена активируется около 3,3 млрд; в ней 48 слоёв, 128 экспертов и 8 активируемых экспертов. Используется Grouped Query Attention с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Модель поддерживает более 100 языков и диалектов, а также переключение между режимами рассуждения и обычной генерации. Сильные стороны модели — сочетание высокой ёмкости с меньшим числом активных параметров, развитое рассуждение, поддержка многоязычных инструкций, диалогов и инструментальных сценариев. Ограничения связаны с использованием FP8-квантизации: для распределённого вывода в Transformers известны проблемы, из-за которых может потребоваться настройка CUDA_LAUNCH_BLOCKING=1. Для работы нужны совместимые версии Transformers, vLLM или SGLang и соответствующее аппаратное обеспечение. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-14B-Instruct-GPTQ-Int4 — инструкционно дообученная причинная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, работы с кодом и математическими задачами, обработки структурированных данных и формирования структурированных ответов, включая JSON. Она поддерживает более 29 языков, среди которых английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Модель содержит 14,7 млрд параметров, из них 13,1 млрд непараметров эмбеддингов, и включает 48 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV-внимании и Grouped Query Attention с 40 головами для Q и 8 для KV. Применяется 4-битная GPTQ-квантизация, уменьшающая требования к памяти по сравнению с полноразмерной версией. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; в текущей конфигурации без дополнительной настройки доступно до 32 768 токенов, для более длинных входов требуется YaRN. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, работа с кодом, математикой, таблицами и JSON, а также поддержка мультиязычных сценариев. GPTQ-квантизация может упростить развёртывание, однако квантование способно влиять на качество относительно исходной bfloat16-версии. Использование статического YaRN в vLLM может снижать производительность на коротких текстах. Модель распространяется по лицензии Apache-2.0.

Карточка модели Devastaticglitch/Qwen2.5-72B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-72B-Instruct, поэтому описание составлено по ней. Qwen2.5-72B-Instruct — инструкция-настроенная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на архитектуре Qwen2 с 71,5 млрд параметров по метаданным; карточка описывает 80 слоёв, RoPE, SwiGLU, RMSNorm и контекст до 131 072 токенов с генерацией до 8 192 токенов. В текущей конфигурации репозитория задан контекст 32 768 токенов, а для более длинных входов README предлагает YaRN. Модель предназначена для диалогов и следования инструкциям, генерации длинных текстов и структурированных ответов, включая JSON, а также для задач программирования, математики и понимания таблиц. Она поддерживает более 29 языков, включая русский и английский, и предоставляет интерфейс для вызова инструментов. Модель принимает и генерирует текст. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers; README рекомендует актуальную версию библиотеки и vLLM для развёртывания. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели. Удлинение контекста через статический YaRN может снижать производительность на коротких запросах.

Qwen2.5-7B-Instruct-AWQ — инструкционная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы со структурированными данными и JSON, а также задач программирования и математики. Модель содержит около 7,61 млрд параметров, 28 слоёв и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm и смещениями в механизме внимания. Применяется AWQ-квантизация до 4 бит, что снижает требования к памяти при развёртывании. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Заявлена длина контекста до 131 072 токенов и генерация до 8192 токенов, однако конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, работа со структурированными данными, кодом и математикой, а также экономичность 4-битной версии. Использование статического YaRN в vLLM может снижать производительность на коротких текстах. Для работы требуется актуальная версия библиотеки transformers; версии ниже 4.37.0 не поддерживаются. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-GPTQ-Int8 — инструкционная каузальная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалоговых приложений, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, создания длинных текстов и структурированных ответов, включая JSON. Модель поддерживает более 29 языков, в том числе английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель содержит 7,61 млрд параметров, из них 6,53 млрд — без учёта embedding, и включает 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV attention и Grouped Query Attention: 28 голов для Q и 4 для KV. Применена 8-битная GPTQ-квантизация, снижающая требования к памяти по сравнению с полноразмерной версией. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов; для входов длиннее 32 768 токенов требуется настройка YaRN, которая может ухудшать производительность на коротких запросах. Для работы рекомендуется актуальная версия Transformers, а для развёртывания длинного контекста — vLLM. Сильные стороны модели — улучшенные возможности в кодировании, математике, следовании инструкциям, обработке таблиц и структурированных данных, а также многоязычность и поддержка длинного контекста. Ограничения включают возможное снижение качества или скорости из-за квантизации и потенциальное ухудшение производительности на коротких текстах при включённом статическом YaRN. Модель распространяется по лицензии Apache-2.0.

Qwen3-14B-FP8 — FP8-квантизированная версия большой языковой модели Qwen3-14B, разработанной командой Qwen. Это каузальная языковая модель для генерации текста, диалогов и выполнения инструкций, поддерживающая переключение между режимом рассуждений для сложной логики, математики и программирования и обычным режимом для эффективного общения. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд не относятся к эмбеддингам, и имеет 40 слоёв. Она использует Grouped Query Attention: 40 голов для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN поддерживается до 131 072 токенов. Модель ориентирована на более чем 100 языков и диалектов и подходит для многоязычных диалогов, перевода, написания текстов, генерации кода, решения математических задач и агентских сценариев с использованием внешних инструментов. К сильным сторонам относятся сочетание рассуждений и быстрого общего диалога в одной модели, развитое следование инструкциям, многоязычность и поддержка интеграции с инструментами. FP8-квантизация с блочным размером 128 предназначена для повышения эффективности хранения и инференса, однако для распределённого запуска в Transformers указаны известные проблемы; при использовании нескольких устройств может потребоваться переменная CUDA_LAUNCH_BLOCKING=1. Модель распространяется по лицензии Apache-2.0.

Qwen3-32B-FP8 — языковая модель с авторегрессионной архитектурой causal language model, разработанная командой Qwen. Это FP8-квантизованная версия Qwen3-32B с 32,8 млрд параметров, из которых 31,2 млрд приходятся на неприкрытые эмбеддингом параметры. Модель содержит 64 слоя и использует Grouped-Query Attention: 64 головы для запросов и 8 для ключей и значений. Она распространяется через Hugging Face Transformers и предназначена для генерации текста. Модель подходит для диалогов, следования инструкциям, творческого письма, ролевого взаимодействия, математических и логических задач, генерации кода, перевода, многоязычного общения и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает более 100 языков и диалектов, а также переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрых ответов. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. FP8-квантизация с мелкозернистой схемой и размером блока 128 снижает требования к памяти и может повысить эффективность инференса, однако для распределённого запуска в Transformers указаны известные проблемы; при использовании нескольких устройств может потребоваться CUDA_LAUNCH_BLOCKING=1. Для развёртывания рекомендуются актуальные версии Transformers, SGLang или vLLM. Модель распространяется по лицензии Apache-2.0.

Gemma 4 26B A4B — мультимодальная модель с открытыми весами от Google DeepMind, относящаяся к семейству Gemma 4 и реализованная как модель класса Mixture-of-Experts. Она принимает текст и изображения и генерирует текст; поддерживает понимание изображений, рассуждения, генерацию и исправление кода, суммаризацию и вызов инструментов. Видео и аудио заявлены для семейства Gemma 4, но поддержка аудио указана только для вариантов E2B, E4B и 12B. Модель рассчитана на мультимодальные диалоги, анализ документов и изображений, задачи с длинным контекстом и агентные сценарии. Для вариантов Gemma 4 26B A4B заявлено контекстное окно до 256 тысяч токенов; семейство обучено более чем на 140 языках и имеет поддержку более 35 языков из коробки. Архитектура семейства сочетает локальное скользящее и глобальное внимание. Модель распространяется по лицензии Apache 2.0. Карточка не приводит отдельной оценки ограничений именно этого варианта; мультимодальные возможности видео и аудио нельзя приписывать 26B A4B по приведённым сведениям.

Gemma 4 E4B-it — мультимодальная модель Google DeepMind с открытыми весами, настроенная для следования инструкциям и диалога. Это плотная модель семейства Gemma 4; репозиторий использует Transformers и формат safetensors. Для варианта E4B заявлено контекстное окно 128 тысяч токенов и поддержка более 35 языков в практическом использовании, при предобучении на более чем 140 языках. Модель принимает текст, изображения, видео и аудио, а выдаёт текст. Она предназначена для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, понимания видео, распознавания речи и перевода речи в текст. Поддерживает режим рассуждений и вызов инструментов; гибридное внимание сочетает локальные окна и глобальное внимание. Модель подходит для локального запуска на устройствах с ограниченными ресурсами, а также для чат-ботов, помощников и мультимодальных приложений. Возможности распознавания аудио заявлены для вариантов E2B и E4B. Как и другие генеративные модели, она может ошибаться в ответах и интерпретации входных данных. Лицензия — Apache 2.0.

cosmicproc/gemma-4-E4B-it-NVFP4 — квантизированный вариант instruction-tuned модели google/gemma-4-E4B-it из семейства Gemma 4, разработанного Google DeepMind. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа изображений и аудио с выдачей текста. Она поддерживает более 140 языков, нативные системные промпты и вызов функций. Контекстное окно составляет до 128K токенов. Модель использует плотную архитектуру с 42 слоями, примерно 4,5 млрд эффективных параметров и около 8 млрд параметров с учётом Per-Layer Embeddings. Гибридный механизм внимания сочетает локальное скользящее окно размером 512 токенов с глобальным вниманием. Основные линейные слои трансформера квантизированы в формате NVFP4 W4A4 с помощью NVIDIA Model Optimizer, тогда как Per-Layer Embeddings, зрительный и аудиобашни, а также мультимодальный проектор сохранены в BF16 для поддержания качества. Ключевое преимущество версии — сниженные требования к памяти и потенциально высокая производительность при инференсе на GPU NVIDIA Blackwell. Для полноценного W4A4-инференса требуются GPU Blackwell, CUDA 12.9 или новее и vLLM 0.19.0 или новее. На GPU поколений Ada, Hopper и Ampere модель может загрузиться, но оптимизированные FP4-ядра активаций не будут использоваться, поэтому преимущество по скорости квантизации будет утрачено. Модель распространяется по лицензии Apache 2.0.

JunHowie/Qwen3-30B-A3B-Instruct-2507-GPTQ-Int4 — это квантизированная версия Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Модель относится к причинным языковым моделям и предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и многоязычных сценариев. Она работает только в non-thinking режиме и не формирует блоки <think></think>. В основе используется MoE-архитектура: всего 30,5 млрд параметров, из которых активируется 3,3 млрд; 48 слоёв, 128 экспертов, 8 активируемых экспертов, а также GQA с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена. Данная версия сжата до 4 бит с group size 128 и настройкой desc_act=False, что, согласно README, повышает эффективность по числу токенов в секунду по сравнению с предыдущими квантизированными версиями. Для запуска рекомендуется vLLM версии 0.9.2 или новее. Модель подходит для чат-систем, генерации и обработки текста, анализа длинных документов, программирования, математических и исследовательских задач, а также агентских сценариев с использованием инструментов. К сильным сторонам относятся длинный контекст, улучшенные instruction following, reasoning, coding, alignment и многоязычные возможности базовой модели. Ограничения включают работу только в non-thinking режиме и возможные потери качества, связанные с 4-битной квантизацией. Модель распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-32B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-32B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческих задач, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрой генерации, а также более 100 языков и диалектов. Модель является плотной causal language model с 32,8 млрд параметров, 64 слоями и механизмом GQA: 64 головы запросов и 8 голов ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Квантизация выполнена в 4 бита с group size 128; настройка desc_act=False повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизованными версиями. Ограничениями являются возможное снижение точности по сравнению с полной версией модели и зависимость от совместимого программного окружения, включая vLLM версии 0.9.2 или выше. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-E4B-it-NVFP4 — квантизированная версия instruction-tuned модели Gemma 4 E4B, разработанной Google DeepMind и опубликованной Unsloth. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа. Модель относится к семейству Gemma 4 и имеет плотную архитектуру с примерно 4,5 млрд эффективных параметров (8 млрд с учётом эмбеддингов) и 42 слоями. Она поддерживает текстовые и визуальные входные данные, а также аудио для малых моделей Gemma 4, включая E4B. Контекстное окно составляет до 128K токенов. Архитектура использует гибридное внимание с локальными скользящими окнами и глобальным вниманием, что помогает снижать требования к памяти при работе с длинным контекстом. Формат NVFP4 ориентирован на эффективное выполнение и развёртывание на совместимом оборудовании. К сильным сторонам относятся мультимодальность, поддержка многоязычия более чем на 140 языках, настраиваемые режимы рассуждений, улучшенные возможности программирования, нативная поддержка вызова функций и системных инструкций. Ограничения связаны с требованиями к совместимым программным и аппаратным средствам для NVFP4, а также с тем, что квантизация может влиять на точность по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache 2.0.

axana-labs/Qwen2.5-72B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-72B-Instruct, разработанной командой Qwen/Alibaba Cloud и опубликованной в формате, совместимом с Transformers. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации и анализа текста, работы со структурированными данными, создания JSON, программирования и математических задач. Модель относится к causal language models и использует архитектуру с RoPE, SwiGLU, RMSNorm, смещениями в QKV и Grouped Query Attention: 64 головы для Q и 8 для KV. Исходная модель содержит около 72,7 млрд параметров, из них 70 млрд без учёта embedding, имеет 80 слоёв, поддерживает контекст до 131 072 токенов и генерацию до 8 192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество этой версии — 4-битное представление параметров, которое должно снижать требования к памяти и упрощать локальный запуск по сравнению с полноразмерной моделью. Сильными сторонами исходной Qwen2.5 заявлены улучшенные знания, программирование, математика, следование инструкциям, обработка длинных текстов и устойчивость к различным системным промптам. README не содержит подробных сведений о точном формате квантования, аппаратных требованиях, результатах тестирования именно этой сборки или ограничениях качества, поэтому их нельзя определить по имеющимся данным. Лицензия указана как other; конкретные условия использования в README не приведены.

Qwen3-4B-FP8 — FP8-квантованная версия причинной языковой модели Qwen3-4B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, математических и логических рассуждений, программирования, творческого письма, многошаговых агентных сценариев и работы с внешними инструментами. Она поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд приходятся на параметры без учёта эмбеддингов, и включает 36 слоёв. Используется архитектура causal language model с группированным запросом внимания GQA: 32 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Qwen3 поддерживает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрой обработки обычных запросов. Суффикс FP8 указывает на мелкозернистое квантование FP8 с размером блока 128, что ориентировано на повышение эффективности инференса при сохранении совместимости с распространёнными фреймворками. Среди ограничений отмечены известные проблемы совместимости vLLM и особенности распределённого инференса в Transformers; для некоторых конфигураций требуется дополнительная настройка. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-122B-A10B-GPTQ-Int4 — мультимодальная модель семейства Qwen3.5, разработанная командой Qwen. Это causal language model с vision encoder, предназначенная для работы с текстом и изображениями. Модель ориентирована на рассуждения, программирование, визуальное понимание, агентские сценарии и универсальные задачи обработки контента. Модель использует гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Общее число параметров составляет 122 млрд, при этом во время работы активируется около 10 млрд. Архитектура включает 48 слоёв и 256 экспертов, из которых активируются 8 маршрутизируемых и 1 общий эксперт. Нативная длина контекста — 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживаются 201 язык и диалект. Данная версия содержит GPTQ-квантизацию до 4 бит и распространяется в формате, совместимом с Hugging Face Transformers, vLLM, SGLang и KTransformers. Сильными сторонами модели являются сочетание текстовых и визуальных возможностей, большой контекст, высокая вычислительная эффективность разреженной архитектуры и широкое языковое покрытие. Ограничения включают необходимость совместимого программного и аппаратного окружения для запуска крупной MoE-модели, а также возможные потери качества из-за 4-битной квантизации; конкретные требования к ресурсам в README не указаны. Лицензия — Apache-2.0.