II.4Отладка, тестирование и качество ПО

mlx-community/Qwen3-30B-A3B-4bit — это 4-битная версия модели Qwen3-30B-A3B, преобразованная в формат MLX из базовой модели Qwen/Qwen3-30B-A3B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска в среде MLX, в том числе через библиотеку mlx-lm на совместимом оборудовании Apple Silicon. Ключевые характеристики включают формат MLX, 4-битное квантование и назначение text-generation. README не содержит сведений о точной архитектуре, количестве активных и общих параметров, поддерживаемых языках, размере контекста, модальностях, результатах тестирования, сильных сторонах и ограничениях качества. Модель распространяется по лицензии Apache 2.0.

mlx-community/Qwen3-4B-8bit — языковая модель для генерации текста, представленная в формате MLX. Она создана сообществом mlx-community на основе модели Qwen/Qwen3-4B, разработанной командой Qwen, и предназначена для запуска и инференса с использованием библиотеки mlx-lm, прежде всего в экосистеме MLX. Модель имеет размер 4 млрд параметров и 8-битное представление весов, что уменьшает требования к памяти по сравнению с полноразмерной версией и делает её подходящей для локального запуска на совместимом оборудовании. Основной сценарий использования — продолжение и генерация текста по промпту; README также показывает возможность применения chat template для диалогового взаимодействия. Сведения об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна в предоставленных данных отсутствуют. Для работы требуется библиотека mlx-lm версии, совместимой с форматом модели; конвертация выполнена с использованием mlx-lm 0.24.0. К ограничениям относятся зависимость от экосистемы MLX и возможная потеря точности, связанная с 8-битным представлением. Модель распространяется по лицензии Apache 2.0.

Qwen3-4B-Instruct-2507-4bit-DWQ-2510 — это квантизированная 4-битная версия языковой модели Qwen3-4B-Instruct-2507 в формате MLX. Модель разработана сообществом mlx-community на основе исходной модели Qwen, созданной командой Qwen, и преобразована в формат MLX с использованием mlx-lm версии 0.28.2. Модель предназначена для генерации текста и диалоговых сценариев с применением инструкционного режима. Она подходит для использования через библиотеку mlx-lm, включая обработку сообщений в формате чата и генерацию ответов по текстовым подсказкам. Известны размер исходной модели — 4 миллиарда параметров — и 4-битное квантование DWQ, позволяющее уменьшить требования к хранению и вычислительным ресурсам по сравнению с полноразмерными вариантами. Модель работает с текстом; сведения о поддерживаемых языках, размере контекстного окна, архитектурных деталях, результатах тестирования и ограничениях качества в README не указаны. Для использования требуется библиотека mlx-lm и среда, совместимая с MLX. Модель распространяется по лицензии Apache 2.0.

MInAlA/Qwen3-4B-Instruct-2507-DPO-merged — языковая модель на архитектуре Qwen3, дообученная методом Direct Preference Optimization (DPO) на наборе предпочтений argilla/ultrafeedback-binarized-preferences. Она предназначена для диалогов и генерации текста по инструкциям. Модель содержит около 3,7 млрд параметров, принимает текст и поддерживает контекст до 262 144 токенов. Модель основана на Qwen/Qwen3-4B-Instruct-2507 и сохранена в формате safetensors. Карточка не уточняет, какие языки поддерживаются, лицензию и результаты оценки качества; эти сведения здесь не приводятся.

lmstudio-community/Qwen3-4B-MLX-4bit — это 4-битная версия модели Qwen3-4B, разработанная сообществом lmstudio-community и преобразованная в формат MLX из базовой модели Qwen/Qwen3-4B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, включая сценарии диалогового взаимодействия с применением chat template. Из README известно, что модель использует архитектуру и характеристики базовой Qwen3-4B, однако точные параметры, поддерживаемые языки, размер контекста и мультимодальные возможности здесь не указаны. Ключевая особенность этой версии — 4-битное представление и формат MLX, что ориентировано на эффективный локальный запуск в совместимой среде. Ограничения, качество на конкретных задачах и требования к оборудованию в README не описаны. Лицензия — Apache-2.0.

LuffyTheFox/Qwen3.6-27B-Uncensored-Genesis-MTP-GGUF — мультимодальная локальная модель семейства Qwen3.6, созданная LuffyTheFox на основе HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive. Автор применяет собственный метод Genesis для численной коррекции весов GGUF без дополнительного обучения или дообучения, стремясь уменьшить шум в тензорах и повысить стабильность генерации. Базовая модель связана с Tongyi Lab команды Alibaba Group, однако сведения о точном авторстве исходной архитектуры в README ограничены. Модель предназначена прежде всего для локального использования, включая программирование и работу в LM Studio с агентом Bionic. Она поддерживает текст, изображения и видео; для работы с изображениями требуется отдельный файл mmproj. Заявлены языки English, Chinese и многоязычная поддержка. Модель содержит 27 млрд плотных параметров, 64 слоя, 48 слоёв линейного внимания и 16 слоёв полноформатного gated attention. Нативный контекст составляет 262 тысячи токенов и может быть расширен примерно до 1 млн с помощью YaRN. К сильным сторонам относятся большой контекст, мультимодальность, ориентация на локальный запуск и заявленная автором коррекция деградации весов. При этом README не содержит независимых результатов тестирования, поэтому преимущества Genesis над исходной моделью нельзя считать подтверждёнными. Для запуска рекомендуется квантование Q3_K_M при наличии около 16 ГБ VRAM или Q4_K_M при 24 ГБ VRAM, максимальная выгрузка на GPU и F16 для K/V cache. Модель обозначена как uncensored, поэтому её поведение и защитные ограничения могут отличаться от стандартных версий Qwen. Указана лицензия Apache-2.0.

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF — набор GGUF-квантизаций модели, разработанный hesamation на основе Qwen/Qwen3.6-35B-A3B. Исходная модель дообучена методом supervised fine-tuning с LoRA на данных, имитирующих рассуждения Claude Opus, а затем объединена с базовой моделью и преобразована в формат GGUF с использованием инструментов llama.cpp. Модель предназначена для генерации текста и локального или серверного запуска в совместимых средах, включая современные сборки llama.cpp. Модель ориентирована на диалоговые сценарии, текстовую генерацию и задачи, требующие пошагового рассуждения. Указаны варианты Q4_K_M, Q5_K_M, Q6_K и Q8_0: они различаются размером, требованиями к памяти и ожидаемым качеством. Архитектура базовой модели обозначена как Qwen3.6-35B-A3B; в README также указано, что она включает vision encoder, однако данное дообучение выполнялось только на текстовых примерах. Поэтому улучшения для изображений и видео не заявлены, а мультимодальное поведение следует считать унаследованным от базовой модели. Максимальная длина последовательности при обучении составляла 32768 токенов, заявленный язык — английский. Главное преимущество модели — специализация на рассуждениях и возможность подобрать компромисс между качеством и потреблением памяти с помощью разных уровней квантизации. На ограниченном тесте MMLU-Pro исходная объединённая модель получила 75,71% exact match против 42,86% у базовой модели, но этот результат относится не к отдельным GGUF-файлам, основан на 70 вопросах и не является полноценной оценкой; квантизация может изменить показатели, особенно при низкой разрядности. Модель и её GGUF-варианты распространяются по лицензии Apache-2.0.

Qwen3.6-35B-A3B-uncensored-heretic-GGUF — набор GGUF-квантизаций модели Qwen3.6-35B-A3B, подготовленный jorge-erdb. Исходная версия создана на базе Qwen/Qwen3.6-35B-A3B с применением Heretic v1.2.0 и метода MPOA-abliteration, направленного на снижение числа отказов и ограничений в ответах. Модель предназначена для локального запуска и генерации текста; конкретные поддерживаемые языки и практические сценарии в README не указаны. В метаданных также заявлен pipeline image-text-to-text, однако подробности мультимодальных возможностей не приведены. Архитектура — Mixture of Experts: 35 млрд параметров всего и около 3 млрд активных параметров. Нативная длина контекста составляет 262 144 токена. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_NL, полученные с помощью llama.cpp и importance matrix; IQ4_NL заявлен как наиболее подходящий для CUDA и CPU. Для Apple Silicon с Metal рекомендуется использовать линейные варианты, например Q4_K_M, поскольку IQ4_NL работает медленнее из-за отсутствия нативной поддержки нелинейной деквантизации. К сильным сторонам относятся большое контекстное окно, низкая вычислительная стоимость активной части MoE и широкий выбор уровней квантизации. По данным README, в сравнительном тесте версия показала 10 отказов из 100 против 83 у исходной модели при заявленном KL divergence 0,0015, то есть сохранила близость к исходному поведению. Ограничения включают зависимость скорости и качества от выбранной квантизации и оборудования, а также отсутствие подробных данных о языковом покрытии и результатах независимых тестов. Распространение указано по лицензии Apache-2.0.

JacobLinCool/Qwen3-Embedding-0.6B-GIR-1 — текстовая Sentence Transformer модель, дообученная на Qwen/Qwen3-Embedding-0.6B. Она преобразует предложения и абзацы в плотные векторы размерности 1024; близость текстов оценивается косинусным сходством. Архитектура включает Qwen3Model, pooling по последнему токену и нормализацию эмбеддингов. Максимальная длина последовательности — 32 768 токенов, формат весов — safetensors. Модель предназначена для семантического поиска и сравнения текстов. В README приведена настройка на парах запрос–код, поэтому она подходит, в частности, для поиска фрагментов кода по запросу на естественном языке. Также заявлены поиск перефразировок, кластеризация и классификация текста. Метаданные и описание базовой модели указывают на многоязычную основу Qwen3; конкретные языки обучения этой версии не перечислены. Для поиска информации в README приведены высокие метрики на небольшом наборе из 100 оценочных примеров, поэтому они не гарантируют аналогичного качества на других данных. Лицензия в предоставленных данных не указана.

speechless-mistral-six-in-one-7b-orth-1.0-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral-7B-Instruct-v0.2 от Mistral AI и speechless-mistral-six-in-one-7b-orth-1.0 от uukuguy. Для слияния использован метод SLERP с настройками Mergekit; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Она принимает текст, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Языки, на которых модель специально обучена, в карточке не перечислены. Модель распространяется по лицензии Apache-2.0. Качество и поведение зависят от свойств исходных моделей и параметров их слияния; README не приводит отдельных результатов оценки или гарантий для конкретных сценариев.

Hunyuan-A13B-Instruct-GGUF — квантизированная версия языковой модели Hunyuan-A13B-Instruct, разработанной Tencent. Модель предназначена для генерации текста и работы в инструкционном диалоговом формате. Квантизация выполнена пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix; доступны варианты от Q2_K_L до Q8_0 размером примерно от 29 до 85 ГБ. Модель можно запускать через llama.cpp, LM Studio и другие совместимые проекты. README не раскрывает точную архитектуру, число активных и общих параметров, максимальный контекст, поддерживаемые языки или дополнительные модальности. Основное преимущество представленной версии — широкий выбор уровней квантизации: более высокие варианты сохраняют лучшее качество, а компактные требуют меньше оперативной памяти. При этом сильное сжатие снижает качество ответов, а для запуска большинства вариантов необходим значительный объём памяти. Для корректной работы требуется специальный формат промпта с токенами <|startoftext|>, <|extra_4|> и <|extra_0|>. Модель распространяется по лицензии Tencent Hunyuan A13B; ссылка на текст лицензии приведена в исходном репозитории Tencent. Условия лицензии следует проверить перед коммерческим или иным использованием.

TheBeagle-v2beta-32B-MGS — экспериментальная инструктивная языковая модель команды Beagle, дообученная на базе Qwen/Qwen2.5-32B-Instruct. Это плотная модель семейства Qwen2 с 32 млрд параметров; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. В качестве обучающих данных использован набор Magpie-Align/Magpie-Pro-300K-Filtered, обучение проведено за одну эпоху. Заявленная длина контекста — 32 768 токенов; метаданные указывают английский язык. Модель предназначена для диалоговой генерации текста и следования инструкциям; результаты приведённых в карточке оценок относятся к набору тестов без chat template. Разработчик сообщает о значении loss 0,5378 и приводит оценки IFEval и BBH, но этих данных недостаточно для вывода о качестве в конкретных приложениях. Выпуск обозначен как beta и экспериментальный. Лицензия основана на условиях Qwen с дополнительным требованием включать «Beagle» или «MGS» в название производных моделей; перед использованием следует свериться с полным текстом лицензии.

TriMistral-7B-TIES — объединённая модель для генерации текста и диалогов, созданная Muhammad2003 методом TIES с помощью LazyMergekit. В слиянии использованы NousResearch/Hermes-2-Pro-Mistral-7B и instructlab/merlinite-7b-lab; конфигурация также указывает HuggingFaceH4/zephyr-7b-beta как базовую модель. Модель построена на плотной архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Карточка приводит результаты бенчмарков AI2 Reasoning Challenge и HellaSwag, но не описывает специализированные сценарии или гарантии качества. Репозиторий содержит веса в формате safetensors; лицензия — Apache 2.0.

xLAM-7b-r-IMat-GGUF — это GGUF-квантизированная версия языковой модели Salesforce/xLAM-7b-r, подготовленная пользователем legraphista с использованием llama.cpp и IMatrix-калибровки. Исходная модель имеет формат BF16, а набор поставляется в вариантах от BF16 и FP16 до Q2–Q8 и IQ-квантизаций, включая версии с применением IMatrix. Модель предназначена для генерации текста, function calling, tool use и построения LLM Agent-сценариев. Она ориентирована на английский язык и поддерживает работу с инструментами и функциями; исходный датасет обучения — Salesforce/xlam-function-calling-60k. Формат GGUF и набор квантизаций позволяют выбирать баланс между размером файла, требованиями к памяти и сохранением качества, что удобно для локального запуска через llama.cpp. Для некоторых вариантов указаны размеры от 2,53 до 14,48 ГБ. Ключевые архитектурные характеристики базовой модели, включая точное устройство, размер контекста и перечень поддерживаемых модальностей, в README не указаны; по представленным данным это текстовая модель без заявленной мультимодальности. К ограничениям относятся ориентация на английский язык и возможное снижение качества при использовании низкобитных квантизаций. Модель распространяется по лицензии CC BY-NC 4.0, предусматривающей некоммерческое использование.

Qwen2.5-72B-Instruct-AWQ — большая инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалоговых ассистентов, генерации и анализа текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель поддерживает более 29 языков, среди которых английский, китайский, русский, французский, испанский, немецкий, японский, корейский и арабский. Это causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Модель содержит 72,7 млрд параметров, 70 млрд параметров без учёта эмбеддингов, 80 слоёв и использует Grouped-Query Attention с 64 головами для Q и 8 для KV. Репозиторий содержит 4-битную AWQ-квантизированную версию instruction-tuned модели. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов; для входов длиннее 32 768 токенов требуется настройка YaRN, а статическое масштабирование может ухудшать качество или производительность на коротких текстах. Сильные стороны модели — улучшенные знания, способности в программировании и математике, следование инструкциям, генерация длинных текстов, обработка таблиц и других структурированных данных, а также устойчивость к разнообразным системным промптам. Ограничения включают высокие требования к вычислительным ресурсам, возможное снижение производительности на коротких запросах при включённом YaRN и потенциальные потери качества, связанные с 4-битной квантизацией. Модель распространяется по лицензии Qwen; точные условия следует уточнять в файле лицензии репозитория.

Qwen2.5-72B-Instruct-GPTQ-Int8 — инструкционно дообученная крупная языковая модель семейства Qwen2.5, разработанная командой Qwen, связанной с Alibaba Cloud. Это каузальная текстовая модель для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит 72,7 млрд параметров, из которых 70 млрд не относятся к эмбеддингам, и построена на архитектуре Transformer с RoPE, SwiGLU, RMSNorm, смещениями QKV в механизме внимания и GQA. Она имеет 80 слоёв, 64 головы внимания для Q и 8 для KV. Модель поддерживает более 29 языков, включая английский, китайский, французский, испанский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена; для контекстов свыше 32 768 токенов требуется настройка YaRN. К сильным сторонам относятся улучшенные способности к программированию и математике, следование инструкциям, генерация длинных текстов, понимание таблиц и устойчивость к разнообразным системным промптам. GPTQ-квантизация до 8 бит снижает требования к памяти по сравнению с исходной версией, но модель остаётся ресурсоёмкой из-за большого размера. При использовании статического YaRN производительность на коротких запросах может снижаться. Для работы рекомендуется актуальная версия Transformers; лицензия указана как Qwen с отдельным файлом условий.

Mistral-Large-Instruct-2407-GGUF — квантизированная версия Mistral Large 2, разработанная Mistral AI и подготовленная в формате GGUF сообществом LM Studio; квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, диалогов, выполнения инструкций, рассуждений, работы с многоязычными запросами, извлечения данных и интеграции в бизнес-приложения через вызов функций. Модель поддерживает контекст до 128 000 токенов, десятки языков, включая английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский, японский, корейский, арабский и хинди, а также более 80 языков программирования, среди которых Python, Java, C, C++, JavaScript и Bash. Ключевые сильные стороны — улучшенное следование инструкциям, диалоговые возможности, retrieval-навыки и поддержка последовательных и параллельных вызовов функций. При этом, как и другие генеративные модели, она может ошибаться или создавать недостоверный контент; конкретные характеристики производительности зависят от выбранного уровня квантизации. Модель распространяется по лицензии MRL-0.1; условия следует проверять в тексте лицензии Mistral.

Qwen2.5-32B-Instruct-GGUF — языковая instruction-tuned модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для генерации текста, диалоговых сценариев, следования инструкциям, программирования, математических задач, работы со структурированными данными и создания структурированных ответов, включая JSON. Модель поддерживает более 29 языков, в том числе английский, китайский, русский, французский, испанский, немецкий, японский и арабский. Модель представляет собой causal language model в формате GGUF с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в Attention QKV. Она содержит 32,5 млрд параметров, из которых 31 млрд — непараметры эмбеддингов, 64 слоя и GQA с 40 головами для Q и 8 для KV. Полная длина контекста GGUF-версии составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Доступны варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. К сильным сторонам относятся улучшенные знания, возможности в программировании и математике, следование инструкциям, обработка длинных текстов, таблиц и структурированных форматов, а также устойчивость к разнообразным системным промптам. Ограничение GGUF-версии — контекст до 131 072 токенов требует YARN и на данный момент поддерживается только в vLLM; для такого сценария рекомендуется использовать не-GGUF версии. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507-FP8 — инструкционная causal language model семейства Qwen, разработанная командой Qwen. Это FP8-версия модели Qwen3-235B-A22B-Instruct-2507 для генерации текста и диалогового взаимодействия. Она предназначена для следования инструкциям, понимания текста, логического рассуждения, математики, научных задач, программирования, использования инструментов и открытых субъективных задач, включая генерацию качественного текста. Модель использует архитектуру Mixture-of-Experts: 235 млрд параметров всего, из которых 22 млрд активируются при обработке запроса; 234 млрд параметров относятся к неэмбеддинговым. Архитектура включает 94 слоя, 128 экспертов и 8 активируемых экспертов, а также Grouped Query Attention с 64 Q- и 4 KV-головами. Нативная длина контекста составляет 262 144 токена. Модель поддерживает несколько языков и улучшенное покрытие редких знаний, однако конкретный полный список языков в README не указан. Поддерживается только non-thinking mode: модель не формирует блоки <think></think>. Сильные стороны модели — улучшенные instruction following, рассуждение, кодинг, tool usage, многоязычность, субъективные и открытые задачи, а также обработка длинного контекста. Ограничения включают высокие требования к вычислительным ресурсам, обусловленные общим размером модели, и отсутствие режима thinking. Модель распространяется по лицензии Apache-2.0.

Mistral Small 4 119B A6B — мультимодальная модель общего назначения от Mistral AI, объединяющая возможности семейств Instruct, Reasoning и Devstral. Архитектура MoE содержит 128 экспертов, из которых активны 4; всего модель насчитывает 119 млрд параметров, а на токен активируется 6,5 млрд. Контекстное окно — 256 тысяч токенов. Репозиторий содержит веса safetensors в формате FP8. Модель принимает текст и изображения и выдаёт текст. Она предназначена для диалоговых ассистентов, рассуждений, программирования, агентных сценариев с вызовом функций, разбора документов и анализа изображений. Режим рассуждений можно настраивать для каждого запроса; заявлена поддержка множества языков, включая русский. Для инференса рекомендована библиотека vLLM. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование. В метаданных не указаны базовая модель или отдельное дообучение; FP8 здесь обозначает точность представленных весов. Для запуска README рекомендует актуальный vLLM, а для Transformers — основную ветку проекта.

Qwen2.5-7B-Instruct-GPTQ-Int8 — инструкционная каузальная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалоговых приложений, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, создания длинных текстов и структурированных ответов, включая JSON. Модель поддерживает более 29 языков, в том числе английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель содержит 7,61 млрд параметров, из них 6,53 млрд — без учёта embedding, и включает 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV attention и Grouped Query Attention: 28 голов для Q и 4 для KV. Применена 8-битная GPTQ-квантизация, снижающая требования к памяти по сравнению с полноразмерной версией. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов; для входов длиннее 32 768 токенов требуется настройка YaRN, которая может ухудшать производительность на коротких запросах. Для работы рекомендуется актуальная версия Transformers, а для развёртывания длинного контекста — vLLM. Сильные стороны модели — улучшенные возможности в кодировании, математике, следовании инструкциям, обработке таблиц и структурированных данных, а также многоязычность и поддержка длинного контекста. Ограничения включают возможное снижение качества или скорости из-за квантизации и потенциальное ухудшение производительности на коротких текстах при включённом статическом YaRN. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-FP8 — причинная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-версия модели Qwen3-30B-A3B-Instruct-2507, предназначенная для генерации текста в режиме без скрытого рассуждения и без блоков <think></think>. Модель ориентирована на следование инструкциям, логическое рассуждение, понимание текста, математику, естественные науки, программирование, использование инструментов, открытые и субъективные текстовые задачи, а также работу с длинным контекстом и несколькими языками. Она поддерживает контекст длиной до 262 144 токенов. Архитектура — Mixture of Experts: 30,5 млрд параметров всего, из них 3,3 млрд активируются на запрос; модель содержит 48 слоёв, 128 экспертов и активирует 8 экспертов, использует GQA с 32 головами Q и 4 головами KV. К сильным сторонам относятся улучшенные instruction following, качество генерации, математические и кодовые способности, расширенное покрытие редких знаний на разных языках и повышенное качество работы с длинным контекстом. Ограничение модели — поддержка только нерassуждающего режима, поэтому она не предназначена для генерации явных цепочек рассуждений в формате <think></think>. Для использования рекомендуются актуальные версии transformers, а для развёртывания — SGLang или vLLM. Модель распространяется по лицензии Apache-2.0.

cosmicproc/gemma-4-E4B-it-NVFP4 — квантизированный вариант instruction-tuned модели google/gemma-4-E4B-it из семейства Gemma 4, разработанного Google DeepMind. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа изображений и аудио с выдачей текста. Она поддерживает более 140 языков, нативные системные промпты и вызов функций. Контекстное окно составляет до 128K токенов. Модель использует плотную архитектуру с 42 слоями, примерно 4,5 млрд эффективных параметров и около 8 млрд параметров с учётом Per-Layer Embeddings. Гибридный механизм внимания сочетает локальное скользящее окно размером 512 токенов с глобальным вниманием. Основные линейные слои трансформера квантизированы в формате NVFP4 W4A4 с помощью NVIDIA Model Optimizer, тогда как Per-Layer Embeddings, зрительный и аудиобашни, а также мультимодальный проектор сохранены в BF16 для поддержания качества. Ключевое преимущество версии — сниженные требования к памяти и потенциально высокая производительность при инференсе на GPU NVIDIA Blackwell. Для полноценного W4A4-инференса требуются GPU Blackwell, CUDA 12.9 или новее и vLLM 0.19.0 или новее. На GPU поколений Ada, Hopper и Ampere модель может загрузиться, но оптимизированные FP4-ядра активаций не будут использоваться, поэтому преимущество по скорости квантизации будет утрачено. Модель распространяется по лицензии Apache 2.0.

Qwen3-14B-GGUF — квантизированная версия причинной языковой модели Qwen3-14B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов и агентных возможностей. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд приходятся на параметры без учёта эмбеддингов, и имеет 40 слоёв. Используется Grouped-Query Attention: 40 голов для запросов и 8 для ключей и значений. Поддерживаются режимы с рассуждением и без рассуждения, между которыми можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов. Нативная длина контекста составляет 32 768 токенов; с использованием YaRN проверена работа с контекстом до 131 072 токенов. Доступны варианты квантования q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF. Сильные стороны модели — сочетание рассуждений и эффективного общего диалога, развитое следование инструкциям, мультиязычность и интеграция с инструментами. Формат GGUF ориентирован на локальный запуск через llama.cpp и Ollama. Ограничения связаны с возможным снижением качества из-за квантования; при использовании статического YaRN производительность на коротких текстах может ухудшаться, поэтому его рекомендуется включать только для длинного контекста. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507 — крупная языковая модель семейства Qwen3 от команды Qwen. Это причинная MoE-модель с 235 млрд параметров всего и 22 млрд активируемых параметров; в архитектуре 94 слоя и 128 экспертов, из которых для обработки активируются 8. Модель работает в режиме без пошагового рассуждения и предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Модель подходит для следования инструкциям, логических рассуждений, понимания текста, математики, науки, программирования и вызова инструментов. Она рассчитана на многоязычные сценарии и заявляет улучшенный охват редких знаний на разных языках. Нативное контекстное окно составляет 262 144 токена; README описывает расширение до примерно 1,01 млн токенов с использованием Dual Chunk Attention и MInference. К сильным сторонам относятся широкие общие возможности, работа с длинными документами и поддержка интерфейса вызова инструментов. Контекст около миллиона токенов требует специальной настройки и примерно 1000 ГБ суммарной памяти GPU, поэтому такое развертывание предъявляет очень высокие аппаратные требования. Модель распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-30B-A3B-Instruct-2507-GPTQ-Int4 — это квантизированная версия Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Модель относится к причинным языковым моделям и предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и многоязычных сценариев. Она работает только в non-thinking режиме и не формирует блоки <think></think>. В основе используется MoE-архитектура: всего 30,5 млрд параметров, из которых активируется 3,3 млрд; 48 слоёв, 128 экспертов, 8 активируемых экспертов, а также GQA с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена. Данная версия сжата до 4 бит с group size 128 и настройкой desc_act=False, что, согласно README, повышает эффективность по числу токенов в секунду по сравнению с предыдущими квантизированными версиями. Для запуска рекомендуется vLLM версии 0.9.2 или новее. Модель подходит для чат-систем, генерации и обработки текста, анализа длинных документов, программирования, математических и исследовательских задач, а также агентских сценариев с использованием инструментов. К сильным сторонам относятся длинный контекст, улучшенные instruction following, reasoning, coding, alignment и многоязычные возможности базовой модели. Ограничения включают работу только в non-thinking режиме и возможные потери качества, связанные с 4-битной квантизацией. Модель распространяется по лицензии Apache-2.0.

Gemma 4 26B A4B — мультимодальная модель с открытыми весами от Google DeepMind, относящаяся к семейству Gemma 4 и реализованная как модель класса Mixture-of-Experts. Она принимает текст и изображения и генерирует текст; поддерживает понимание изображений, рассуждения, генерацию и исправление кода, суммаризацию и вызов инструментов. Видео и аудио заявлены для семейства Gemma 4, но поддержка аудио указана только для вариантов E2B, E4B и 12B. Модель рассчитана на мультимодальные диалоги, анализ документов и изображений, задачи с длинным контекстом и агентные сценарии. Для вариантов Gemma 4 26B A4B заявлено контекстное окно до 256 тысяч токенов; семейство обучено более чем на 140 языках и имеет поддержку более 35 языков из коробки. Архитектура семейства сочетает локальное скользящее и глобальное внимание. Модель распространяется по лицензии Apache 2.0. Карточка не приводит отдельной оценки ограничений именно этого варианта; мультимодальные возможности видео и аудио нельзя приписывать 26B A4B по приведённым сведениям.

Gemma 4 E4B-it — мультимодальная модель Google DeepMind с открытыми весами, настроенная для следования инструкциям и диалога. Это плотная модель семейства Gemma 4; репозиторий использует Transformers и формат safetensors. Для варианта E4B заявлено контекстное окно 128 тысяч токенов и поддержка более 35 языков в практическом использовании, при предобучении на более чем 140 языках. Модель принимает текст, изображения, видео и аудио, а выдаёт текст. Она предназначена для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, понимания видео, распознавания речи и перевода речи в текст. Поддерживает режим рассуждений и вызов инструментов; гибридное внимание сочетает локальные окна и глобальное внимание. Модель подходит для локального запуска на устройствах с ограниченными ресурсами, а также для чат-ботов, помощников и мультимодальных приложений. Возможности распознавания аудио заявлены для вариантов E2B и E4B. Как и другие генеративные модели, она может ошибаться в ответах и интерпретации входных данных. Лицензия — Apache 2.0.

Карточка модели NostraEmpire/mirror-qwen2.5-32b-instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-32B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 32 млрд параметров для диалога и генерации текста; поддерживает интерфейс вызова инструментов. В архитектуре используются RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для следования инструкциям, написания длинных ответов, работы с таблицами и другими структурированными данными, а также генерации структурированного вывода, включая JSON. Она также подходит для задач программирования и математики. В README заявлена поддержка более 29 языков, включая русский и английский. Метаданные указывают контекст в 32 768 токенов; для этой версии README рекомендует конфигурацию до 131 072 токенов с YaRN для длинных входов, а генерацию — до 8 192 токенов. Модель распространяется в формате safetensors и работает через Transformers. Лицензия — Apache-2.0. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; статическое масштабирование YaRN в vLLM может ухудшать производительность на коротких текстах.

Qwen3-32B-FP8 — языковая модель серии Qwen3, разработанная командой Qwen и адаптированная для запуска на аппаратной платформе FuriosaAI RNGD с помощью Furiosa-LLM. Это плотная causal transformer-модель с 32,8 млрд параметров и grouped-query attention, предназначенная для генерации текста, диалогов, сложных рассуждений, решения математических задач, программирования, вызова инструментов и построения агентных сценариев. Модель работает с текстом на входе и выходе, поддерживает многоязычное использование и предоставляет OpenAI-совместимый API через сервер Furiosa-LLM. Ключевая особенность — гибридный режим работы: по умолчанию модель может формировать рассуждение перед итоговым ответом, а для более быстрых общих диалогов рассуждение можно отключить отдельно для запроса или задать как режим по умолчанию. Поддерживается вызов функций через tool-call parser hermes. Веса статически квантизированы в FP8 с размером блока 128, активации используют динамическую FP8-квантизацию, а KV-кэш сохраняется в 16-битной точности. Для запуска на RNGD требуется тензорный параллелизм на 32 вычислительных элементах, соответствующий четырём картам RNGD. Сильные стороны модели — сочетание рассуждений и эффективного диалога в одной модели, поддержка многоязычности, программирования, инструментов и агентных задач, а также снижение требований к памяти благодаря FP8-квантизации. Ограничения README не раскрывает: не указаны длина контекста, конкретный перечень языков, результаты бенчмарков и требования к ресурсам для других платформ. Данная сборка ориентирована на Furiosa-LLM и FuriosaAI RNGD, хотя исходная модель также может запускаться через vLLM, SGLang и Transformers. Лицензия — Apache 2.0.