II.4Отладка, тестирование и качество ПО

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая языковая модель на базе Qwen3.6-27B, разработанная в сотрудничестве автора модели с Nightmedia, TeichAI, armand0e и trohrbaugh. Это многоэтапная дообученная и объединённая модель, созданная с использованием Unsloth и рассчитанная на запуск на потребительском оборудовании. В README заявлена поддержка английского и китайского языков, а также vision, однако подробности о визуальной архитектуре и максимальном размере контекста не указаны. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, художественной генерации, ролевых сценариев и универсального диалога. Среди заявленных характеристик — улучшенные instruction following, интеллект, problem solving и thinking/reasoning. Доступны regular и MTP GGUF-квантизации, включая 4-битные и 8-битные варианты; все кванты используют NEO IMATRIX, а часть выходного тензора переведена в 16-битную точность. MTP-варианты поддерживают multi-token prediction. К сильным сторонам относятся заявленные улучшения относительно базовой Qwen3.6-27B, высокое качество низкоразрядных квантов, работа с текстом и изображениями, а также широкий спектр сценариев применения. Ограничения включают отсутствие в README точных результатов независимого тестирования, детальных требований к памяти и производительности, размера контекста и описания формата vision-входов. Модель распространяется по лицензии Apache-2.0.

taurusduan/Qwen3.8-27B-GSQ-RCO-GGUF — это набор GGUF-квантизаций базовой модели Qwen3.8-27B, разработанный Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель предназначена для локального запуска языковой модели, включая мультимодальные сценарии с обработкой изображений через поставляемый vision projector. Файлы совместимы с llama.cpp, Ollama и LM Studio. В набор входят четыре неравномерные квантизации с эффективной разрядностью от 2,50 до 3,50 бит на вес и размером от 8,4 до 11,8 ГБ. GSQ выполняет посттренировочную скалярную квантизацию, а RCO распределяет типы квантизации по отдельным тензорам с учётом их чувствительности и общего ограничения на размер. Для мультимодального режима используется отдельный проектор mmproj с vision encoder и projector в формате BF16 размером около 0,9 ГБ. Также доступны варианты с Multi-Token Prediction head для speculative decoding в llama.cpp; они примерно на 0,35 ГБ больше. Рекомендуемым вариантом назван IQ3_S: по данным README, он сохраняет качество базовой модели на AIME25 и LiveCodeBench v6 и находится в пределах 0,51 балла от неё на GPQA-Diamond, занимая чуть больше одной пятой размера BF16-модели. Более компактные варианты подходят для экономии памяти, но могут иметь больший компромисс по качеству. Модель и методы квантизации распространяются по лицензии Apache 2.0. Языки и максимальная длина контекста в README не указаны.

Joestar79/Qwen3.8-27B-OBLITERATED-NVFP4 — производный мультимодальный чекпойнт на базе Qwen/Qwen3.8-27B, прошедший V3 abliteration авторами OBLITERATUS и квантование NVIDIA ModelOpt 0.45.0. Модель предназначена для текстовой генерации, работы с изображениями, рассуждений и вызова инструментов через vLLM. Поведение отказов удалено, поэтому модель выполняет запросы, которые исходная версия могла отклонять; ответственность за законность использования и настройку защитных ограничений лежит на операторе. Модель использует квантование NVFP4 W4A16: размер на диске составляет около 21,5 ГБ вместо 55,6 ГБ у исходной BF16-версии. Весовая часть упакована в FP4, а vision tower, MTP head, lm_head, embeddings и отдельные внутренние компоненты линейного внимания сохранены в BF16. MTP head подключён для speculative decoding, поддерживается контекст до 126 976 токенов, а шаблон чата включает диалект вызова инструментов qwen3_coder. В README не указаны полный список языков и точное число параметров сверх обозначения 27B. Чекпойнт рассчитан прежде всего на запуск на одной NVIDIA RTX 5090 с 32 ГБ памяти и совместим с другими картами Blackwell и FP4-совместимыми серверными GPU. На RTX 5090 заявлена пропускная способность около 40 токенов в секунду для одного потока и до 317 токенов в секунду суммарно для восьми потоков. Ограничения включают известную проблему с зацикливанием генерации при некоторых условиях, возможное снижение эффективности speculative decoding из-за несовпадения MTP head с abliteration-весами и отсутствие калибровки квантования под конкретные задачи. Модель не рекомендуется для публичного неаутентифицированного развёртывания; перед критически важным применением её следует сравнить с BF16-версией. Лицензия — Apache-2.0. Производная модель наследует знания, предубеждения и потенциальные ошибки базовой модели, а удаление отказов повышает риск небезопасных или нежелательных ответов.

Reflection-Llama-3.1-70B-GGUF — квантизированная GGUF-версия модели Reflection-Llama-3.1-70B на базе mattshumer/ref_70_e3. Базовая архитектура относится к семейству Llama и связана с Meta Llama 3; квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, особенно задач, требующих сложного рассуждения, самопроверки и корректировки ответа. Модель имеет размер 70 миллиардов параметров и поддерживает контекст до 128 000 токенов. Это текстовая модель без заявленной поддержки изображений или других модальностей; поддерживаемые языки в README не указаны. Доступны варианты квантизации от 2 до 8 бит в формате GGUF. Рекомендуемыми названы варианты Q4_K_M как сбалансированный по качеству и размеру, а также Q5_K_M и Q5_K_S с очень малой потерей качества. Малые варианты могут заметно снижать качество, а старые форматы Q4_0 и Q5_0 не рекомендуются по сравнению с современными альтернативами. Для работы рекомендуется использовать системную инструкцию, задающую рассуждение внутри тегов <thinking>, итог внутри <output> и исправления внутри <reflection>; также указаны рекомендуемые temperature 0,5 и top_p 0,95. Ограничениями являются большой объём файлов и высокие требования к ресурсам, особенно для вариантов с высокой точностью. Модель распространяется по лицензии llama3.1; дополнительные условия лицензии в README не приведены.

Signal 3.8 27B — дообученная AgentionAI мультимодальная модель на архитектуре Qwen3.5 с 27 млрд параметров, предназначенная для более краткой и быстрой генерации ответов. По данным разработчика, при сохранении качества на их проверочных наборах модель сокращала число токенов в ответах и рассуждениях; после обновления весов 13 сентября 2026 года эти показатели ещё не были повторно измерены. Изменена только матрица выходного слоя lm_head, остальные веса, включая vision encoder, проектор и MTP draft head, совпадают с Qwen/Qwen3.8-27B. Модель поддерживает диалог, анализ изображений и интерфейс вызова инструментов. Её можно использовать для лаконичных ответов на вопросы, программирования, рассуждений и задач с изображениями; автор приводит настройки запуска с контекстом до 65 536 токенов. Для стабильной краткой генерации рекомендуются параметры семплирования и кэширования, указанные в карточке модели. Модель распространяется в формате BF16 через Transformers и совместима с vLLM, SGLang и конвейерами квантизации. Лицензия — Apache-2.0. Приведённые сравнения качества и скорости относятся к конкретным тестам разработчика; измерения токеновой экономии для обновлённых весов ещё не завершены.

PS4Research/0VOz3fgU0qp4lVar — дообученная модель генерации текста на архитектуре Olmo 3, созданная PS4Research на основе allenai/Olmo-3.1-32B-Think. В карточке указано, что для обучения использовались Unsloth и библиотека TRL от Hugging Face; модель содержит 31,7 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; интерфейс поддерживает вызов инструментов. Базовая модель ориентирована на английский язык и задачи рассуждений, в том числе математику и программирование. Сведений о специальных улучшениях, полученных при дообучении, в карточке нет. Лицензия — Apache-2.0.

Это 65-миллиардная языковая модель семейства LLaMA, опубликованная ycros. Она получена дообучением модели airoboros-65b-gpt4-1.4.1 с помощью QLoRA и масштабирования RoPE; веса представлены в формате PyTorch fp16. Обучающие данные airoboros-gpt4-1.4.1 синтетически созданы GPT-4. Модель предназначена для генерации ответов в диалогах, следования инструкциям, ответов на вопросы по предоставленному контексту, написания кода и творческих задач. В обучении уделено внимание многоходовым разговорам, ролевым диалогам, загадкам, шуткам и вариантам запросов на код с выводом в формате PLAINFORMAT. README приводит рекомендованный формат диалога и отмечает, что исходная версия ещё не была протестирована. Указанный нативный контекст составляет 2048 токенов. Карточка описывает вариант с RoPE scaling на 8192 токена, однако не приводит подтверждения его проверки. Модель основана на LLaMA-65B; отдельные квантизованные варианты упомянуты в README, но данный репозиторий содержит PyTorch fp16. Условия лицензии в предоставленных данных не указаны.

Текстовая модель семейства Llama, опубликованная Kunakornjack и дообученная на unsloth/DeepSeek-R1-Distill-Llama-8B с использованием Unsloth и библиотеки TRL. Она предназначена для генерации текста и диалогов; базовая модель рассчитана на математические задачи, программирование и многошаговые рассуждения. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 131 072 токенов. Модель может применяться для диалоговых помощников, генерации ответов, решения математических задач и помощи с кодом. Карточка не описывает отдельные результаты или специализацию этого дообучения, поэтому его влияние на качество по сравнению с базовой моделью оценить нельзя. Лицензия — Apache-2.0.

unsloth/gemma-3n-E4B-it-GGUF — GGUF-квантизированная инструкцияная версия модели Gemma 3n E4B, разработанной Google DeepMind и распространяемой в формате GGUF сообществом Unsloth. Модель относится к семейству лёгких открытых моделей Google, созданных на основе исследований и технологий Gemini, и предназначена для эффективного запуска на устройствах с ограниченными ресурсами. Модель рассчитана на диалоговые сценарии, ответы на вопросы, обработку запросов и суммаризацию документов. Семейство Gemma 3n поддерживает мультимодальный ввод текста, изображений, видео и аудио с генерацией текста, однако данная карточка указывает, что для этой версии в текущей конфигурации поддерживается только текст. Максимальная длина контекста составляет 32K токенов. Указан эффективный размер 4B параметров благодаря технологии выборочной активации параметров; точная архитектура GGUF-варианта и конкретный метод квантования в карточке не уточняются. Модель обучалась на данных более чем на 140 разговорных языках, но в метаданных этой версии явно указан английский язык. К сильным сторонам относятся низкие требования к ресурсам, возможность локального запуска и поддержка тонкой настройки через инструменты Unsloth. Ограничениями являются текстовый режим данной версии, зависимость характеристик от выбранного GGUF-кванта и отсутствие в карточке подробных данных о точном размере файла, производительности и качестве по языкам. Использование регулируется лицензией Gemma и соответствующими Terms of Use Google.

granite-3.0-2b-instruct-GGUF — это GGUF-квантизированная версия языковой модели Granite 3.0 2B Instruct, разработанной IBM и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и выполнения инструкций, включая ответы на вопросы, понимание прочитанного, рассуждения, математические задачи, синтез кода и многоязычные сценарии. Модель содержит около 2 миллиардов параметров и распространяется в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до квантизаций Q4–Q8 с размером файлов примерно от 1,52 до 5,27 ГБ. README не указывает точное максимальное окно контекста, архитектурные детали или полный список поддерживаемых языков; при этом приведены результаты тестирования на наборе PAWS-X для семи языков. К сильным сторонам относятся компактный размер, возможность локального запуска и несколько вариантов квантизации с разным соотношением качества и требований к памяти. Квантизированные версии могут уступать исходным весам в точности, особенно при более агрессивном сжатии. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная. Лицензия — Apache 2.0.

Llama-3.1-Tulu-3-70B-SFT — англоязычная инструкция-следующая модель, разработанная AllenAI на основе Meta Llama 3.1 70B. Это плотная авторегрессионная Transformer-модель примерно на 69,5 млрд параметров, дообученная методом supervised fine-tuning на смеси открытых, синтетических и созданных людьми данных. Репозиторий содержит веса в формате safetensors; модель поддерживает контекст до 131 072 токенов и диалоговый шаблон для использования в чат-приложениях. Модель предназначена для диалога и выполнения инструкций, а также для широкого круга задач, включая математические рассуждения и следование заданным форматам. Карточка приводит оценки на MATH, GSM8K и IFEval; опубликованные бенчмарки дают ориентир, но не гарантируют качество в конкретном применении. Разработчики отмечают, что модель в первую очередь рассчитана на английский язык. У модели ограничено обучение безопасности, поэтому она может выдавать проблемный контент, особенно при соответствующих запросах; фильтрация ответов не встроена. Использование регулируется лицензией Llama 3.1 Community License Agreement.

Llama-3-Swallow-70B-Instruct-v0.1 — диалоговая языковая модель команды Swallow-LLM из Токийского технологического института и AIST, основанная на Meta Llama 3. Модель прошла дополнительное предобучение с упором на японские данные, а версия Instruct — дообучение с учителем и настройку Chat Vector. Это плотная модель семейства Llama с 69,5 млрд параметров, принимающая и генерирующая текст; окно контекста составляет 8192 токена. Модель предназначена для диалога и выполнения инструкций на японском и английском языках. Среди проверявшихся задач — ответы на вопросы, чтение и понимание текста, суммаризация, перевод между японским и английским, математические рассуждения и генерация кода. В README приведены результаты на японских и английских бенчмарках, включая MT-Bench JA. Разработчики предупреждают, что модель находится на ранней стадии исследований и разработки и не настроена для надёжного следования человеческим намерениям и требованиям безопасности. Метаданные указывают лицензию Llama 3 (llama3); перед использованием следует учитывать её условия.

Llama-4-Scout-17B-16E-Instruct-GGUF — квантизированная версия инструкционной модели Llama 4 Scout, разработанной Meta. Вариант опубликован в формате GGUF сообществом lmstudio-community и квантизирован bartowski. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые сценарии, ответы на вопросы, создание и преобразование текста, а также локальный запуск в совместимом программном обеспечении. Из доступных данных известно, что базовая модель называется Llama-4-Scout-17B-16E-Instruct; обозначение указывает на конфигурацию 17B-16E, однако точные сведения об архитектуре, размере активной части модели, контекстном окне, поддерживаемых языках и модальностях в README не приведены. Формат GGUF удобен для локального вывода и может снизить требования к ресурсам, но квантизация способна повлиять на качество по сравнению с исходными весами; конкретный уровень квантизации также не указан. Модель распространяется по Llama 4 Community License от Meta с требованиями к атрибуции, маркировке «Built with Llama», соблюдению Acceptable Use Policy и специальными коммерческими условиями для продуктов с более чем 700 миллионами активных пользователей в месяц.

MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.2 и Weyaxi/MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp. Она построена на плотной архитектуре Mistral и содержит 7,1 млрд параметров; модель предназначена для генерации текста и ответов на инструкции в диалоговом формате. Контекстное окно составляет до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. В предоставленных материалах не описаны языковое покрытие и специальные ограничения качества или безопасности.

RedHatAI/Mistral-7B-Instruct-v0.3-FP8 — квантизированная версия текстовой instruction-модели Mistral-7B-Instruct-v0.3, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена прежде всего для англоязычного ассистентского диалога, включая чат-ботов и исследовательские или коммерческие приложения. Дата выпуска — 26 июня 2024 года, версия 1.0. Модель использует архитектуру Mistral-7B-Instruct-v0.3 и квантизацию весов и активаций в формат FP8. Квантизации подвергнуты линейные операторы внутри transformer-блоков с применением симметричного масштабирования по тензору. Это примерно вдвое уменьшает число битов на параметр, размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением. Модель подготовлена для инференса через vLLM версии 0.5.0 и новее; в README также указан контекст длиной 4096 токенов для процедуры оценки и примеров использования. По данным OpenLLM Leaderboard v1, средний результат FP8-версии составляет 65,85 против 66,33 у неквантизированной модели, что указывает на небольшую потерю качества при заметном снижении требований к ресурсам. Ограничения включают ориентацию на английский язык: использование на других языках указано как выходящее за заявленную область применения. Условия лицензии — Apache 2.0; использование должно соответствовать применимым законам и нормативным требованиям.

Карточка модели Openintelligent123/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, поэтому описание составлено по ней. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель общего назначения от NVIDIA для диалога, рассуждений и генерации текста. Это эталонные веса в формате BF16, предназначенные прежде всего для дообучения, адаптации к предметным областям, исследований и подготовки собственных квантованных вариантов. Модель готова к коммерческому использованию; в карточке лицензия указана как other. Архитектура — гибридная Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными слоями Attention; также используются слои Multi-Token Prediction. В README заявлены 30 млрд параметров всего и 3 млрд активных, а в метаданных каталога — 1,9 млрд параметров. Модель поддерживает контекст до 262 144 токенов по метаданным; README указывает до 1 млн токенов для отдельных конфигураций оборудования. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский, а README дополнительно описывает посттренировочные данные на китайском. Модель предназначена для настройки под пользовательские данные с помощью SFT, RL или дистилляции, а также для оценки и генерации текста в чат- и агентных сценариях. Полноточный вариант требует значительных ресурсов для инференса: README приводит 256K контекста для одной H100 80 GB и конфигурации до 1 млн токенов на более мощном оборудовании. Для более быстрой производственной генерации NVIDIA рекомендует отдельную NVFP4-версию.

Accio-Lab/occamy-1.0-NVFP4 — это версия модели Occamy 1.0 со смешанными NVFP4-квантованными весами, разработанная Accio-Lab. Модель основана на Qwen3.6-35B-A3B и использует архитектуру mixture-of-experts (MoE). Она относится к мультимодальным моделям image-text-to-text и предназначена для работы с текстовыми и визуальными запросами. Квантованию подвергнуты маршрутизируемые эксперты: для их весов и активаций используются NVFP4. Механизмы внимания, маршрутизаторы, общие эксперты, эмбеддинги, выходная голова и vision-компоненты сохранены в формате BF16. Сохранены исходные токенизатор и chat template Occamy; отдельная MTP-голова в этот checkpoint не включена. Модель подходит для генерации текста и кода, структурированных ответов в JSON, tool calling и базового распознавания изображений. Проверки показали сопоставимое с BF16-версией поведение на небольшом наборе тестов для текста, кода, JSON, вызова инструментов и изображений. При этом заявленные проверки не являются общими бенчмарками и не подтверждают качество на широком спектре задач, аудио, видео, длинном контексте или производительность. Набор калибровки был ограниченным, а нативное выполнение NVFP4 требует совместимого оборудования и ядер; совместимость с vLLM проверялась через Marlin W4A16, а не через нативные FP4-вычисления. Валидация проводилась с контекстом 2048 токенов. Модель распространяется по лицензии Apache-2.0.

OLMo-2-1124-13B-Instruct-GGUF — квантизированная версия инструкционной языковой модели OLMo-2-1124-13B-Instruct, разработанной Allen Institute for AI и подготовленной в формате GGUF автором bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях. Она поддерживает английский язык и использует текстовую модальность. Модель содержит 13 миллиардов параметров. В репозитории доступны исходный вариант F16 и различные уровни квантизации от Q8_0 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Квантизация выполнена с помощью llama.cpp и imatrix; для запуска следует использовать шаблон промпта с ролями system, user и assistant, указанный в README. Варианты Q6 и Q5 позиционируются как высококачественные, Q4_K_M — как сбалансированный вариант для большинства сценариев, а варианты с меньшим числом бит требуют меньше памяти, но могут заметнее терять качество. Сильной стороной модели является широкий выбор GGUF-квантизаций, включая варианты, оптимизированные для отдельных ARM-конфигураций и inference на CPU. Ограничения включают поддержку только английского языка, текстовый формат работы и неизбежное снижение качества у более агрессивно квантизированных вариантов. Размер контекста и другие архитектурные характеристики в предоставленных данных не указаны. Модель распространяется под лицензией Apache 2.0.

OLMo-2-1124-7B-SFT Preview — плотная авторегрессионная языковая модель семейства OLMo 2, разработанная Allen Institute for AI (AI2). Это версия с supervised fine-tuning базовой OLMo 2 7B November 2024 на адаптации набора Tülu 3; обучающая смесь включает публичные, синтетические и созданные людьми данные. Модель содержит 6,9 млрд параметров, работает с текстом и поддерживает контекст до 4096 токенов. Модель предназначена для генерации текста и диалогов, а также для широкого круга инструктивных задач. Карточка отмечает обучение на задачах, связанных с математикой, включая MATH и GSM8K, и следованием инструкциям, включая IFEval. Основной язык — английский. Для запуска предусмотрена библиотека Transformers, формат весов — PyTorch. Модель прошла ограниченное обучение безопасности и может выдавать проблемный контент, особенно в ответ на соответствующие запросы; автоматическая фильтрация ответов не включена. Лицензия — Apache 2.0.

OpenChat 3.6 8B — это набор квантованных сборок модели openchat-3.6-8b-20240522 в формате GGUF с использованием imatrix. Модель разработана проектом OpenChat, а представленные квантования опубликованы пользователем или организацией duyntnet. Она предназначена для генерации текста, диалогов, программирования и решения общих задач. В README указана поддержка английского языка и текстовая модальность. Модель имеет размер около 8 миллиардов параметров. Для общения используется шаблон GPT4 Correct с маркером окончания генерации <|end_of_turn|>; также доступен встроенный chat_template. Формат GGUF и квантование ориентированы на запуск в совместимых локальных средствах инференса с потенциально сниженным потреблением памяти, однако конкретные варианты квантования и их характеристики в README не перечислены. Ограничения качества, размер контекста и дополнительные модальности не указаны. Лицензия обозначена как other, без уточнения условий использования.

pandafish-7b — инструктивная языковая модель на 7,1 млрд параметров, созданная методом Model Stock merge из моделей Mistral-7B-v0.1, Mistral-7B-Instruct-v0.2, NeuralTrix-bf16 и mistral-ft-optimized-1227 с помощью LazyMergekit. Модель использует плотную архитектуру Mistral для генерации текста и ответов на инструкции; контекст составляет до 32 768 токенов. Она подходит для диалоговых сценариев, ответов на вопросы и других задач генерации текста по запросу. В приведённых в README оценках pandafish-7b набрала в среднем 51,99 балла; результаты отдельных бенчмарков различаются относительно Mistral-7B-Instruct-v0.2. Модель опубликована в формате safetensors под лицензией Apache-2.0.

Qwen/Qwen3-0.6B-MLX-bf16 — версия модели Qwen3, подготовленная для запуска с библиотекой MLX. Это плотная авторегрессионная языковая модель с 507,9 млн параметров, основанная на Qwen/Qwen3-0.6B-Base; в репозитории указаны веса safetensors и лицензия Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математических задач, генерации кода, перевода и сценариев с вызовом инструментов. Модель поддерживает режимы с рассуждениями и без них, которые можно переключать при формировании запроса. Карточка описывает поддержку более 100 языков и диалектов. Контекст в метаданных указан как 40 960 токенов; README базовой модели приводит 32 768 токенов. Модель компактна по числу параметров и рассчитана на запуск через MLX, однако карточка не приводит отдельной оценки качества именно этой версии на конкретных задачах. Как и другие небольшие языковые модели, она может ошибаться в фактах, рассуждениях и коде; для режима рассуждений важен подбор параметров генерации.

Qwen3-30B-A3B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и использования в инструкционно-ориентированных сценариях, включая локальные приложения и диалоговые системы, совместимые с MLX и LM Studio. В исходных данных указано, что базовая модель имеет обозначение 30B-A3B, однако дополнительные сведения об архитектуре, поддерживаемых языках, размере контекста, модальностях и производительности отсутствуют. Ключевое преимущество этой версии — уменьшенный размер представления благодаря 4-битному квантованию и оптимизация для Apple Silicon, что делает её подходящей для локального инференса при ограниченных ресурсах. При этом квантование может снижать точность по сравнению с исходной моделью, а фактические требования к памяти и качество зависят от конкретного устройства и сценария. Модель распространяется по лицензии Apache-2.0.

Это GGUF-версия модели insraq/Qwen3.5-4B-EmperoAI-Qwen3.8-Distill-Heretic-Abliterated-MTP-GGUF, созданная на базе Qwen/Qwen3.5-4B. Модель разработана Empero и insraq: исходная Qwen3.8-4B представляет собой полноразмерную дистилляцию модели Qwen3.8 2.4T A95B в архитектуру Qwen3.5-4B, а данная версия дополнительно декензурирована с использованием Heretic v1.4.0 и объединена с MTP-drafter из unsloth/Qwen3.5-4B-MTP-GGUF. Это причинная языковая модель для генерации текста, рассуждений, следования инструкциям и нативного function calling; заявлена поддержка английского языка. Модель содержит около 4 млрд параметров и обучалась методом SFT на примерно 45 000 отфильтрованных трасс рассуждений учителя. Она поддерживает контекст до 262 144 токенов, а исходная архитектура относится к текстовому пути vision-language базы Qwen3.5. К сильным сторонам относятся компактный размер, пригодность для запуска на потребительском оборудовании, улучшенные по сравнению с базовой моделью результаты на MMLU и сниженное число отказов: 6 из 100 против 99 из 100 у исходной Qwen3.8-4B. При этом на GSM8K модель уступает базовой версии Qwen3.5-4B, а декензурирование может снижать встроенные защитные ограничения. Для работы требуется совместимый runtime с поддержкой архитектуры Qwen3.5; лицензия — Apache-2.0.

SwagMessiah100/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — многоэтапная дообученная и объединённая версия Qwen3.6 с 27 млрд параметров. Модель создана в сотрудничестве SwagMessiah, DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; при обучении использовались собственные и сторонние наборы данных, включая Polar-STRICT-Datasets и F451-STRICT-Datasets. Доступны обычные и MTP GGUF-квантизации, включая варианты с оптимизированными матрицами IMATRIX и частично сохранённой точностью 16 бит. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, диалогов, ролевых сценариев и творческого письма. Заявлены улучшенные интеллектуальные способности, reasoning и instruction following, а также поддержка vision, то есть обработки текста и изображений. Указаны английский и китайский языки. Контекстное окно, точная архитектура базовой модели и подробные характеристики мультимодального ввода в README не приведены. К сильным сторонам относятся заявленное превосходство базовой Qwen3.6 27B в большинстве авторских бенчмарков, хорошая работа даже с низкими уровнями квантизации и ориентация на запуск на потребительском оборудовании. Модель позиционируется как uncensored/heretic, поэтому её ответы могут иметь меньше встроенных ограничений безопасности. Результаты бенчмарков в основном представлены разработчиками и требуют независимой проверки. Лицензия — Apache-2.0.

Qwen3.8-27B-Ridge-GGUF — квантизированная GGUF-версия официальной модели Qwen3.8-27B, разработанная Empero. Модель предназначена для локального запуска в llama.cpp, Ollama, LM Studio, jan, KoboldCpp и других совместимых средах, включая задачи генерации текста, рассуждений и работы с изображениями. Модель использует гибридную архитектуру из 64 слоёв: на каждые три слоя Gated-DeltaNet приходится один слой полноценного внимания, а также сохраняет встроенную MTP-голову для ускорения генерации. Основной файл имеет квантизацию Ridge с эффективностью 3,69 бит на параметр и размером 11,73 GiB. Поддерживаются английский и китайский языки. Для обработки изображений требуется отдельный BF16-файл mmproj размером около 0,87 GiB. Заявлены нативное контекстное окно 262 тысячи токенов и расширение YaRN до 1 миллиона токенов, однако такие режимы существенно увеличивают требования к памяти. Сильная сторона сборки — специальное распределение точности, учитывающее чувствительность состояния Gated-DeltaNet: соответствующий путь хранится в Q8_0, а микшеры — в Q4_K. По измерениям из карточки, perplexity на Wiki-подобном наборе составляет 7,82 против 7,15 у BF16-версии. Ограничения связаны с потерями качества квантизации, большими затратами памяти при длинном контексте и необходимостью отдельного vision-проектора для изображений. Лицензия — Apache-2.0.

AleaiactaEst1/Qwen3.8-27B-Unleashed-GGUF — это квантизированная GGUF-версия uncensored-модели Qwen3.8-27B, основанная на JonathanColetti/Qwen3.8-27B-Uncensored. Модель предназначена для генерации текста, диалогов, написания кода и других задач, поддерживаемых text-generation-моделями. Указанные языки — английский и китайский. Модель имеет размер 27B параметров и поддерживает контекст до 262 144 токенов. Используется динамическая покомпонентная квантизация Unsloth Dynamic 3.0: чувствительные тензоры сохраняют больше точности, а менее чувствительные сжимаются сильнее. Доступны девять уровней квантизации, включая UD-IQ4_XS, UD-Q3_K_XL и UD-IQ3_XXS. Для UD-Q3_K_XL заявлены размер 13,2 ГБ, скорость 112,8 токена в секунду в специализированном тесте на RTX 4090 и успешное извлечение данных из контекста длиной 250 806 токенов. К сильным сторонам относятся uncensored-поведение, длинный контекст, хорошее соотношение качества и размера, а также преимущество динамической квантизации над протестированными равномерными вариантами. Ограничения включают зависимость скорости от длины генерации и оборудования: для коротких ответов на RTX 4090 измерялось около 24,9 токена в секунду, а приведённые показатели получены на одной конфигурации и не универсальны. Самые низкие уровни квантизации могут заметно снижать качество; в README уровень Q2 назван практическим нижним пределом. Модель распространяется по лицензии Apache 2.0. Карта квантизации заимствована из unsloth/Qwen3.8-27B-GGUF, а веса и матрица важности — из JonathanColetti/Qwen3.8-27B-Uncensored; автор README отдельно указывает, что рецепт разработан Unsloth.

dippitydoodle/Qwen3-8B-heretic — декензурированная версия Qwen3-8B, созданная с помощью Heretic v1.4.0. Это плотная авторегрессионная языковая модель на 7,6 млрд параметров с архитектурой Qwen3ForCausalLM; веса представлены в формате safetensors. Модель предназначена для диалоговой генерации текста и задач, в которых требуется меньше отказов на запросы: в карточке указано 15 отказов из 100 против 100 из 100 у исходной модели. Модель унаследовала от Qwen3 поддержку диалога, рассуждений, следования инструкциям, программирования, перевода и более чем 100 языков и диалектов. Метаданные указывают контекст до 40 960 токенов. README сообщает о KL-дивергенции 0,0577 относительно оригинала; это показывает, что изменение поведения сопровождается некоторым отклонением от исходной модели. Лицензия — Apache-2.0.

RedHatAI/Qwen3-VL-235B-A22B-Instruct-FP8-dynamic — мультимодальная instruction-tuned модель, разработанная Red Hat на базе Qwen/Qwen3-VL-235B-A22B-Instruct. Она принимает текст, изображения и видео, а генерирует текст, поэтому предназначена для диалоговых сценариев, анализа визуального содержимого, ответов на вопросы по изображениям и видео, а также решения текстовых, математических, рассуждательных и визуальных задач. Модель использует архитектуру Qwen3VLMoeForConditionalGeneration и имеет 235 млрд параметров, из которых 22 млрд активируются для отдельного токена, согласно идентификатору базовой модели. Вариант FP8-dynamic применяет FP8-квантизацию весов и активаций линейных слоёв трансформерных блоков с динамической квантизацией токенов для активаций и поканальной квантизацией весов. Это примерно вдвое уменьшает объём хранения и требования к GPU-памяти по сравнению с представлением FP16. В README не указаны поддерживаемые языки и максимальная длина контекста. Для развёртывания приведён vLLM с tensor parallelism на четырёх GPU. К сильным сторонам относятся мультимодальность, снижение требований к памяти и близкое к исходной модели качество на приведённых тестах: например, восстановление показателей составляет 99,2–100,5% на задачах OpenLLM V1, включая ARC-Challenge, GSM8K, HellaSwag, MMLU и TruthfulQA. Ограничения включают необходимость производительной GPU-инфраструктуры и совместимого ПО для FP8 и формата compressed-tensors; численные результаты приведены только для ограниченного набора тестов, а влияние квантизации на другие сценарии не раскрыто. Модель распространяется по лицензии Apache-2.0.

smol-7b-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на архитектуре Mistral для генерации ответов на инструкции и диалоговые запросы. Она создана методом SLERP merge из mistralai/Mistral-7B-Instruct-v0.1 и rishiraj/smol-7b; в конфигурации указана базовая модель mistralai/Mistral-7B-Instruct-v0.1. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и принимает текст для генерации текста. Нативный контекст составляет 32 768 токенов. В карточке указан английский язык, формат весов — safetensors, лицензия — Apache-2.0.